Douglas' Space

1. ISO/IEC 29119-Software Testing 표준 지난 글에서 Ai-based System의 품질을 검증하기 위해서 ISO 25000 시리즈 소개를 통해  Ai로 인해 추가된 품질특성들에 대해 소개하였습니다. 이와 마찬가지로 Ai-based System의 품질을 확인(Validation)하는 활동으로서의 테스팅도 기존의 Software Testing 표준을 기반으로 Ai-based System의 테스팅을 위해 추가로 고려해야 할 기법들이 제안되고 있습니다.  ISO 29119-Software Testing은 아래 그림과 같이 파트1로서 Concepts and Definition, 파트2-Test Process, 파트3-Test Documentation, 파트4-Test Techniques..

1. Ai-based System 품질 모델 Ai-based System의 품질을 평가하기 위한 잣대로서 존재하는 것이 품질 모델이라고 할 수 있습니다. 그러나 지난번 글에서 이야기한 것처럼 Ai-based System도 일반 정보 시스템의 한 종류이기 때문에 기존의 Software/System 품질 모델에 대한 표준인 ISO/IEC 25000 시리즈(SQuaRE)의 품질모델을 확장하여 정의를 하고 있습니다. 따라서 Ai 시스템에 대한 품질을 포함한 ISO/IEC 25000시리즈의 품질 모델을 소개하고자 합니다. 아래 그림은 ISO/IEC 25000 시리즈의 전체 표준을 설명하고 있습니다.  ISO/IEC 25000 시리즈는 크게 6개의 부분으로 나누어져 있습니다. 이중 가장 중심이 되는 Quality ..

1. AI관련 국제 표준 현재 ISO/IEC/JTC 1 SC42를 중심으로 인공지능과 관련한 기술개발 및 격차의 해소, 윤리적 설계 및 평가 방법 등 광범위한 분야에 걸쳐 국제적인 표준을 제정 중에 있습니다. 아래 그림은 SC42의 Woarking Group의 현황입니다.현재 SC42는 JTC 1 산하에 존재하는 표준화그룹으로 SC 7 Software and System Engineering  및 JTC 1 산하의  다양한 분야의표준그룹과 공동으로 표준화 작업을 진행 중에 있습니다.   JTC 1은 Information Technology와 관련된 ISO와 IEC의 합동기술위원회를 의미합니다. Ai 기반 시스템은 그 특성상 Software System의 하나로 간주할 수 있기 때문에 일반적인 시스템 개발..

Ai RMF의 코어라고 부르는 핵심은 4가지의 기능으로 구성되어 있으며, 이 기능들은 세부적으로 하위의 2단계로 세분화되어 있습니다. 이 4가지 기능은 아래와 같으며 각 핵심기능은 2단계의 번호로 ID를 부여하여 세분화되어 식별되어 있습니다. 이 글에서는 1레벨의 기능을 소개하고 2레벨의 기능은 참조를 위해 ID만을 비고에 기술하였습니다. Govern 기능은 Ai 위험관리 전반적으로 적용되고 다른 기능을 활성화하는 교차기능으로서, Ai 시스템을 설게, 개발, 배포, 평가 또는 획득하는 조직 내에서 위험관리 문화를 육성하고 구현하는 기능을 수행합니다. MAP기능은 Ai시스템과 관련된 위험을 구성하는 컨텍스트를 분석 설정하는 기능으로서, Ai 시스템의 외부 및 내부의 구성요소와 그 특징을 정의합니다. MEA..

Trustworthiness를 한국어로 번역하면 신뢰성이라고 번역합니다. 그러나 일반적으로 신뢰성은 Reliability를 번역할 때 많이 사용하고 있습니다. 두 단어가 사실 품질, 성능이라는 기술적 관점에서는 거의 유사한 용어로 사용되지만 Trustworthiness가 좀 더 큰 개념의 신뢰성을 의미합니다. ISO/IEC TS 5723:2022를 참조로 한 Ai RMF에서는 Reliability 로서의 신뢰성을 "주어진 시간 간격과 조건에서 아이템이 요구사항에 따라 오류 없이 수행하는 능력" 이라고 정의하고 있습니다. Trustworthiness로서의 신뢰성을 ISO/IEC TS 5723:2022에서는 다양한 품질 속성으로 표현하고 있으며, Ai RMF에서는 Trustworthy Ai 시스템의 특성을 ..

위험은 사건의 발생 확률과 해당 사건 결과의 크기 또는 정도에 대한 복합적인 척도를 의미합니다. Ai 시스템의 영향 또는 결과는 긍정적이거나 부정적이거나 둘 다일 수 있으며 기회 또는 위협을 초래할 수 있습니다. 잠재적인 사건의 부정적인 영향을 고려할 때 위험은 상황이 나 사건이 발생할 경우 발생할 수 있는 부정적인 영향 또는 피해의 크기 및 발생 가능성의 함수입니다. 부정적인 영향이나 피해는 개인, 그룹, 커뮤니티, 조직, 사회, 환경 및 지구에서 경험할 수 있습니다. 1. 위험로 인한 피해 Ai RMF는 새로운 위험이 발생할 때 이를 해결하도록 설계되었습니다. 이러한 유연성은 영향을 쉽게 예측할 수 없고 애플리케이션이 진화하는 경우에 특히 중요합니다. 일부 AI 위험과 이점은 잘 알려져 있지만 부정적..

Ai가 무엇이기에 특별히 그 위험을 관리해야 할까요? 이를 위해서는 사실 Ai에 대한 이해가 필요합니다. Ai에 대해서는 Ai에 대한 다른 글을 참조해 주시기 바랍니다. 요약을 하면 정보를 처리하는 일반적인 소프트웨어와 같으나 Neuro Ai의 딥뉴럴넷은 예측이 어려운 확률분포를 기반으로 한다는 것이 이러한 위험을 내포한다고 할 수 있습니다. 따라서 제3세대의 Ai인 Neuro-Symbolic Ai가 신뢰성있게(Trustworthy) 개발이 된다면 일반적인 소프트웨어가 갖는 위험 정도로 제어가 가능하다고 생각합니다. 그러나 현재 시점에서는 아직 설명 가능하며 신뢰성 있는 Ai의 개발이 필요하며, 따라서 Ai가 야기할 수 있는 위험의 특성을 이해하는 것은 중요하다고 생각합니다. Ai가 일반적인 소프트웨어로..

인공지능(Ai)이 많은 영역에서 디지털 변혁(Digital Transformation)의 가장 핵심적인 기술로 적용이 되고 있고 있으나, 반대로 이를 악용하는 적대 세력과 공정, 윤리 등의 사회적 위험에 대한 경고의 목소리가 높습니다. (몇 년 전에는 구글의 직원들이 미 국방성이 추진하는 인공지능 프로젝트인 Maven이라는 프로젝트에 불참할 것을 선언하였다는 기사를 접한 적을 기억하실 것이라 생각합니다.) 이러한 이슈를 고려하여 미국의 NIST(National Institute of Standards and Technology)에서는 Ai로 야기되는 위험을 관리하여 Responsible Ai를 실현하기 위한 Ai RMF(위험관리 프레임워크)를 2023년 1월에 발간하였습니다. 본 섹션에서는 NIST Ai..