Semantic Segmentation

semantic segmentation(의미적 분할)은 컴퓨터비전의 핵심적인 분야에 하나입니다. 결론적으로 말하면 사진에 있는 객체들의 경계를 구분하는 것을 의미합니다. 아래 그림은 구글의 DeepLab V3+라는 논문에 나온 semantic segmentation의 예입니다.

위의 그림은 왼쪽의 사진으로 부터 구분 가능한 객체(배경을 포함하여) 들의 경계를 구분하는 4장의 예시를 보여주고 있습니다. 언듯 봐도 자율주행에서 많이 활용되는 기술로 느껴지실 것 같습니다. Kaggle에서도 바다에서 선박을 찾는 문제가 나오 등 적용분야가 무궁무진하다고 할 수 있습니다. 지난번 소개한 CNN을 적용해서 많은 발전을 이루었다고 할 수 있습니다.

구글에서는 카메라에 이 기능을 이용하여 심도가 얕은 사진인 아웃포커스 사진(위의 그림)을 묘사하는 용도로 사용하였습니다. 기존의 컴퓨터비전에서의 다른 문제와 비교하여 semantic segmentation의 의미를 더 명확하게 이해해 보도록 하겠습니다.

위의 그림과 그 설명에서 짐작할 수 있듯이, 왼쪽부터 오른쪽으로 문제의 난이도가 높아지는 것을 알수 있습니다. 단순히 분류하고 객체를 인식하는 것을 넘어, 윤곽을 구분하여 픽셀별로 어떠한 물제인지를 판단하는 픽셀 레벨 Classification이라고 할 수 있습니다. 이러한 방법은 Vanilla CNN을 변형한 R-CNN(Region-based CNN), FCN(Fully Convolution Network for semantic segmentation) 등을 이용하여 문제를 해결합니다.