Ai 위험관리 이슈들

위험은 사건의 발생 확률과 해당 사건 결과의 크기 또는 정도에 대한 복합적인 척도를 의미합니다. Ai 시스템의 영향 또는 결과는 긍정적이거나 부정적이거나 둘 다일 수 있으며 기회 또는 위협을 초래할 수 있습니다. 잠재적인 사건의 부정적인 영향을 고려할 때 위험은 상황이 나 사건이 발생할 경우 발생할 수 있는 부정적인 영향 또는 피해의 크기 및 발생 가능성의 함수입니다. 부정적인 영향이나 피해는 개인, 그룹, 커뮤니티, 조직, 사회, 환경 및 지구에서 경험할 수 있습니다.

 

1. 위험로 인한 피해

 

Ai RMF는 새로운 위험이 발생할 때 이를 해결하도록 설계되었습니다. 이러한 유연성은 영향을 쉽게 예측할 수 없고 애플리케이션이 진화하는 경우에 특히 중요합니다. 일부 AI 위험과 이점은 잘 알려져 있지만 부정적 인 영향과 피해 정도를 평가하는 것은 어려울 수 있습니다. 이러한 위험은 개인, 조직, 그리고 크게는 우리의 생태계에 까지 피해를 줄 수 있습니다. 

 

Ai 시스템과 관련된 잠재적 피해의 예

 

2. 위험의 측정 (Risk Measurement)

 

잘 정의되지 않았거나 적절하게 이해되지 않은 Ai 위험 또는 실패는 정량적 또는 정성적으로 측정하기 어렵 습니다. Ai 위험을 적절하게 측정할 수 없다고 해서 Ai 시스템이 반드시 높거나 낮은 위험을 내포한다는 의미는 아닙니다.

 

제3자 소프트웨어, 하드웨어 및 데이터와 관련된 위험: 제3자의 데이터 또는 시스템은 연구 개발을 가속화하 고 기술 전환을 촉진할 수 있습니다. 또한 위험 측정을 복잡하게 만들 수도 있습니다. 제3자 데이터, 소프트 웨어 또는 하드웨어 자체와 이를 사용하는 방식 모두에서 위험이 발생할 수 있습니다.

 

긴급 위험 추적: 조직의 위험 관리 노력은 긴급 위험을 식별 및 추적하고 이를 측정하는 기술을 고려함으로써 향상될 것입니다. Ai 시스템 영향 평가 접근 방식은 Ai 행위자가 특정 상황 내에서 잠재적인 영향 또는 피 해를 이해하는 데 도움이 될 수 있습니다.

 

신뢰할 수 있는 지표의 가용성: 위험 및 신뢰성에 대한 강력하고 검증 가능한 측정 방법과 다양한 Ai 사용 사례에 대한 적용 가능성에 대한 현재의 합의 부족은 Ai 위험 측정 문제입니다.

 

Ai 수명 주기의 여러 단계에서의 위험: Ai 수명 주기의 초기 단계에서 위험을 측정하면 이후 단계에서 위험을 측정하는 것과 다른 결과가 나올 수 있습니다. 일부 위험은 주어진 시점에 잠재되어 있을 수 있으며 Ai 시스템이 적응하고 진화함에 따라 증가할 수 있습니다. 또한 Ai 라이프사이클 전반에 걸쳐 서로 다른 Ai 행위자는 서로 다른 위험 관점을 가질 수 있습니다.

 

실제 환경에서의 위험: 실험실이나 통제된 환경에서 AI 위험을 측정하면 배포 전 중요한 통찰력을 얻을 수 있지만 이러한 측정은 실제 운영 환경에서 발생하는 위험과 다를 수 있습니다.

 

불가해성(Inscrutability): 이해하기 어려운 AI 시스템은 위험 측정을 복잡하게 만들 수 있습니다. 불가해성 은 AI 시스템의 불투명한 특성(제한된 설명 가능성 또는 해석 가능성), AI 시스템 개발 또는 배포의 투명성 또 는 문서화 부족 또는 AI 시스템에 내재된 불확실성의 결과일 수 있습니다.

 

인간 기준선(Human baseline): 인공지능 시스템이 의사결정과 같은 인간의 활동을 보완 또는 대체하는 것 을 목표로 하는 경우, 비교를 위한 어떤 형태의 기준선 지표가 필요합니다. 하지만 이는 어렵게 시스템화 하 기가 어렵습니다.

 

3. 위험 허용 범위 (Risk Tolerance)

 

위험 허용 범위는 목표를 달성하기 위해 위험을 감수하려는 조직 또는 Ai 행위자의 준비 상태를 나타냅니다. 위험 허용 범위는 법적 또는 규제 요구사항의 영향을 받을 수 있습니다. 위험 허용 범위와 조직 또는 사회에서 허용되는 위험 수준은 상황에 따라 다르며 응용 프로그램 및 사용 사례에 따라 다릅니다.

 

위험 허용 범위는 Ai 시스템 소유자, 조직, 산업, 커뮤니티 또는 정책 입안자가 설정한 정책 및 규범의 영향을 받을 수 있습니다. 위험 허용 범위는 Ai 시스템, 정책 및 규범이 발전함에 따라 시간이 지남에 따라 변경될 수 있습니다. 조직마다 특정 조직의 우선 순위 및 리소스 고려 사항으로 인해 다양한 위험 허용 범위가 있을 수 있습니다.

 

해로움/비용-이득 트레이드오프를 더 잘 이해하기 위한 새로운 지식과 방법은 기업, 정부, 학계 및 시민 사회 에서 계속 개발되고 토론될 것입니다. Ai 위험 허용 범위를 설정하기 위한 문제가 해결되지 않은 상태로 남아 있는 한, 부정적인 Ai 위험을 완화하기 위해 위험 관리 프레임워크를 즉시 적용할 수 없는 상황이 될 수 있습니다.

 

4. 위험 우선 순위 지정 (Risk Prioritization)

 

부정적인 위험을 완전히 제거하려는 시도는 실제로는 역효과를 낼 수 있습니다. 왜냐하면 모든 사고와 실패 를 제거할 수 있는 것은 아니기 때문입니다. 위험에 대한 비현실적인 기대는 조직이 위험 분류를 비효율적이 거나 현실적이지 않게 만들거나 유한한 자원을 낭비하게 할 수 있습니다.

 

위험 관리 문화를 구축함으로써 조직은 모든 Ai 위험이 동일하지 않다는 사실을 인지하고 자원을 목적에 맞게 할당할 수 있습니다. 실행 가능한 위험 관리 노력은 조직이 개발하거나 배포하는 각 Ai 시스템의 신뢰성을 평가하는 명확한 지침을 제시합니다. 정책과 자원은 평가된 위험 수준과 Ai 시스템의 잠재적 영향을 기준으로 우선 순위를 정해야 합니다.

 

Ai 시스템이 용납할 수 없는 부정적인 위험 수준을 보여주는 경우 - 즉, 중대한 부정적 영향이 임박한 경우, 심각한 피해가 실제로 발생하는 경우, 또는 재앙적 인 위험이 존재하는 경우 - 개발 및 배포는 위험이 충분히 관리될 수 있을 때까지 안전하게 중단되어야 합니 다.

 

만약 Ai 시스템의 개발, 배포, 그리고 사용 사례들이 특정 문맥에서 낮은 위험으로 확인된다면, 그것은 잠재적으로 낮은 우선 순위를 시사할 수 있습니다. 위험 우선 순위는 직접적으로 사람들과 상호작용하는 Ai 시스템과 그렇지 않은 AI 시스템 간에 차이가 있을 수 있습니다.

 

5. 위험의 조직 통합 및 관리

 

모든 위험은 단독으로 고려되어서는 안 됩니다. 서로 다른 Ai 행위자는 수명 주기에서 자신의 역할에 따라 서로 다른 책임과 인식이 다를 수 있습니다. 예를 들어 Ai 시스템을 개발하는 조직은 시스템 사용 방법에 대 한 정보가 없는 경우가 많습니다. Ai 위험 관리는 더 광범위한 전사적 위험 관리 전략 및 프로세스에 통합되 고 포함되어야 합니다. 사이버 보안 및 개인 정보 보호와 같은 다른 중요한 위험과 함께 Ai 위험을 처리하면 보다 통합된 결과와 조직 효율성을 얻을 수 있습니다.

 

일부 위험은 다른 유형의 소프트웨어 개발과 배포에서 공통적으로 발생합니 다. 중복되는 위험의 예시로는 AI 시스템을 학습시키기 위해 사용되는 기본 데이터와 관련된 개인정보 보호 문제, 자원 집약적인 컴퓨팅 요구로 인한 에너지 및 환경 영향, 시스템 및 학습 및 출력 데이터의 기밀성, 무결성 및 가용성(CIA: confidentiality, integrity, and availability)과 관련된 보안 문제, 그리고 Ai 시스템의 기본 소프트웨어와 하드웨어의 일반적인 보안 문제 등이 있습니다