Ai-based System 검증을 위한 품질 모델

1. Ai-based System 품질 모델

 

Ai-based System의 품질을 평가하기 위한 잣대로서 존재하는 것이 품질 모델이라고 할 수 있습니다. 그러나 지난번 글에서 이야기한 것처럼 Ai-based System도 일반 정보 시스템의 한 종류이기 때문에 기존의 Software/System 품질 모델에 대한 표준인 ISO/IEC 25000 시리즈(SQuaRE)의 품질모델을 확장하여 정의를 하고 있습니다. 따라서 Ai 시스템에 대한 품질을 포함한 ISO/IEC 25000시리즈의 품질 모델을 소개하고자 합니다. 아래 그림은 ISO/IEC 25000 시리즈의 전체 표준을 설명하고 있습니다.

 

ISO/IEC 25000 시리즈(SQuaRE)의 품질관련 표준안

 

ISO/IEC 25000 시리즈는 크게 6개의 부분으로 나누어져 있습니다. 이중 가장 중심이 되는 Quality Model Division인 ISO/IEC 2501n 는 품질 속성을 정의한 Quality model을 정의하고 있으며, Extension Division의 ISO/IEC 25059에  Ai 시스템에 적용되는 품질 속성을 수정 또는 추가하여 제안하고 있습니다.  나머지 Division은 품질 요구사항의 정의, 평가를 위한 방법 들을 제안하고 있습니다. 특히 Quality Measurement Division에는 각 품질 속성들을 측정하기 위한 방법을 제안하고 있습니다. 이러한 표준안 중에 본 글에서는 가장 중요한 Product Quality와 Data Quality에 대해 소개하고자 합니다.

 

2. ISO/IEC 25010 Product Quality Model

 

이 품질 모델은 Software/System Product와 관련된 품질 속성 들을 크게 9가지로 정의하고 있으며, 대분류의 속성별로 다수의 세부 속성을 정의하고 있습니다. 아래 그림은 전체 세부 속성까지 표시하고 있으며, 보라색은 Ai System을 추가로 고려하여 수정 또는 추가된 속성을 나타내고 있습니다. 다시 말해 Ai System은 기존 시스템의 품질 속성을 포함하여 좀 더 추가적인 속성을 고려해야 한다는 것을 의미합니다.

 

ISO/IEC 25010 Software/System Product Quality Attributes

 

본 글에서는 Ai 시스템으로 추가된 속성만 소개하고자 합니다.

 

• Functional Correctness: 사용자가 의도한 정확한 결과를 제공하는 정도/능력
• Functional Adaptability: Ai 시스템이 데이터 또는 이전 작업의 결과로부터 정보를 정확하게 획득하고 해당 정보를 미래 예측에 사용할 수 있는 정도
• User Controllability: 사용자가 Ai 시스템의 기능에 적절한 시기에 개입할 수 있는 정도
• Transparency: 시스템이나 제품의 내부 운영, 의사결정 프로세스 및 결과가 명확하고 이해하기 쉽게 전달되는 정도
• Robustness: 어떠한 상황에서도 Ai 시스템이 기능적 정확성 수준을 유지할 수 있는 정도

3. ISO/IEC 25012, 5259 Data Quality Model

 

Data quality model은 ISO/IEC 25012에서 정의된 품질 속성과 별도로 ISO/IEC JTC1 SC42의 WG2에서 ISO/IEC 5259에 추가로 정의하고 있습니다.  

ISO/IEC 25012, 5259 Data Quality Model

 

 

역시 본 글에서는 Ai 시스템으로 추가된 속성만 소개하고자 합니다.

 

• Auditability: 데이터 세트의 일부 또는 전체가 감사된 정도 또는 관련 이해관계자가 감사를 위해 데이터를 사용할 수 있는 정도
• Identifiability: 교육, 검증, 테스트 및 생산 데이터에 적용되는 익명화 프로세스가 식별 가능성을 줄이는 정도 
• Effectiveness: 데이터 세트가 특정 ML 작업에 사용하기 위한 요구 사항을 충족하는 정도
• Balance: 모든 측면의 데이터 세트에 대한 샘플 분포가 적절한 정도
• Diversity: 대상 데이터를 기준으로 샘플 간 차이가 적절한 정도
• Relevance: (정확하고, 완전하며, 일관성 있고, 최신이라는 가정 하에) 데이터 세트가 주어진 맥락에 적합한 정도
• Representativeness: 데이터 집합이 연구 대상 모집단을 대표하는 정도
• Similarity; 관심 있는 특징 측면에서 샘플 간의 유사성이 적절한 정도
• Timeliness: 현상이 발생하는 시간과 해당 현상에 대해 기록된 데이터를 사용할 수 있는 시간 사이의 간격이 적절한 정도