Trustworthy Ai-based System 개발에 대해서

1. AI관련 국제 표준

 

현재 ISO/IEC/JTC 1 SC42를 중심으로 인공지능과 관련한 기술개발 및 격차의 해소, 윤리적 설계 및 평가 방법 등 광범위한 분야에 걸쳐 국제적인 표준을 제정 중에 있습니다. 아래 그림은 SC42의 Woarking Group의 현황입니다.현재 SC42는 JTC 1 산하에 존재하는 표준화그룹으로 SC 7 Software and System Engineering  및 JTC 1 산하의  다양한 분야의표준그룹과 공동으로 표준화 작업을 진행 중에 있습니다. 

 

ISO/IEC JTC1/SC 42

 

JTC 1은 Information Technology와 관련된 ISO와 IEC의 합동기술위원회를 의미합니다. Ai 기반 시스템은 그 특성상 Software System의 하나로 간주할 수 있기 때문에 일반적인 시스템 개발관점에서의 다양한 방법을 수정 및 추가하여 표준을 제안하는 경우가 많이 존재합니다.   따라서 개발관점에서는 일반적인 시스템 개발에서의 품질관리를 이해할 필요가 있습니다. 

 

2. 일반적인 시스템 개발에서의 품질관리

 

Ai를 기반으로 한 시스템의 신뢰성(Trustworthiness)을 확보하기 위해서는 조직적으로는 Ai-RMF를 기반으로 다양한 정책과 규정 등을 통해 윤리적인 부분을 포함한 포괄적인 가이드라인을 수립해야 합니다. 또한 시스템 개발단계에서는 어떻게 그 신뢰성을 확보할 것인가에 대해 다양한 기술적 접근방안들을 구비해야 합니다. Ai기반의 시스템은 기존의 컴퓨터를 기반으로 한 Software-intensive system의 하나이기 때문에 기존의 시스템 개발시 품질을 확보하기 위한 방법의 연장선에서 생각하는 것이 중요하다고 생각합니다. 특히 Trustworthiness는 품질관리의 중요한 활동인 Verification & Validation (검증 및 확인)의 성과에 크게 좌우된다고 생각합니다.

 

따라서 먼저 시스템의 검증 및 확인 활동에 대한 명확한 이해가 필요합니다. 왜냐하면 Verification(검증)과 Validation(확인)은 다양한 분야에서 다른 개념으로 사용되기도 하기 때문입니다. 이러한 혼돈을 줄이기 위해 Software System 개발 분야에서 사용하는 개념을 기반으로 이 활동들을 소개하고자 합니다. Verification은 시스템 개발의 각 단계마다 개발이 잘 이루어지고 있는가를 점검하는 활동이며, Validation은 개발된 시스템이 목표로 한 요구사항을 만족하는가를 점검하는 활동입니다.  아래 그림은 일반적인 Software System의 개발 주기를 표현한 그림입니다. 

Software System Development Cycle

 

 

위의 그림에서 파란색의 마름모 안에 활동들이 Verification 활동들이며, 초록색의 사각형이 Validation 활동들입니다. 다시 말해 Verification은 각 개발단계마다 전 단계와 비교하여 올바른 방향으로 개발이 이루어지는 가를 점검하는 Technical Review 활동들이며, Validation은 개발시스템이 요구사항과 만족하는 가를 점검하는 시험 및 평가 활동들이라 할 수 있습니다.

 

3. ISO/IEC JTC 1/SC7의 관련 표준

 

기존의 품질을 검증하는 Verification활동은 프로젝트의 마일스톤의 역할 수행하며, 일반적으로는  체크리스트를 통한 전문가들의 평가에 의해 go-nogo에 대한 판단을 수행하고 있습니다. 그러나 이러한 검증활동은 정확한 시스템의 품질 상태를 파악하기 어렵고 객관적이지 못합니다. 따라서 시스템의 품질모델을 기반으로 이를 정량적으로 평가하기 위한 방법을 제시하고 있는 것이 ISO/IEC 25000 시리즈(SQuaRE)입니다. 

ISO/IEC 25000 SQuaRE

 

현재 SQuaRE 품질모델 및 평가방법에 Ai기반 시스템의 품질을 평가하기 위한 품질특성 및 방법이 SC 42 활동과 함께 수정 및 추가되어 확장되고 있습니다. 

 

Validation의 경우는 요구사항을 기반으로 테스트를 수행하는 방법으로서 ISO/IEC 29119를 기반으로 시험 절차 및 설계 방법으로 제안하고 있습니다.  현재 ISO/IEC 29119 역시 SC 42 활동과 같이 Ai기반 테스트케이스 설계 기법 등을 수정 및 추가되어 확장되고 있습니다. 

 

ISO/IEC 29119 Software Testing

 

 

4. 품질확보에서 요구사항의 정의 및 관리의 중요성

 

사실 Validation뿐만 아니라 Verification의 경우도 그 평가의 기준이 되는 것은 요구사항입니다. 따라서 Ai기반 시스템의 품질 확보의 시작은 요구사항을 완전하고, 일관성있게, 테스트용이하도록 작성하는 것이라 할 수 있습니다. 이러한 관점에서 Model-based Software/System Enigneering(MBSE)을 통해 데이타를 포함한 요구사항을 정형화하여 모델링하고 관리하는 것이 품질확보에 매우 중요한 시발점이라 할 수 있습니다. 

 

결론적으로 MBSE를 통한 Software/System Model 들을 활용하여 ISO/IEC 25000에 기반한 품질 기반 Verification을 수행하고, ISO/IEC 29119를 기반으로 테스트케이스 설계 및 테스트 방법을 통한 Validation활동을 통해 Trustworthy Ai-based System을 확보할 수 있을 것으로 생각합니다. 궁극적으로는 Autonomy in Software Engineering을 구현하여 정확하고 신속하게 Ai기반 시스템의 품질을 Ai로 확보하는 것이 가능하리가 예측해 봅니다.