Self-Supervised Learning

지난 시간에는 labeled data를 제작해야하는  문제점을 극복하기 위한 방법으로 전이학습에 대한 이야기를 했습니다. 사실 지도학습의 이러한 문제는 labeled data를 충분히 만들면 가능한 일이지만 사실 이 충분한 데이터라는 것이 특정 문제에 한해서만 적용이 가능한 문제이며, 많은 문제 영역에서는 충분한 labeled data를 만드는 것이 사실 어려운 현실입니다. 또한 충분하다는 것도 그 만큼 정의하기 어려우며 문제의 범위에 따라 다양한 새로운 입력데이터에 대해 대응하지 못하는 결함이 존재할 수 밖에 없습니다.

이러한 한계점을 근본적으로 극복하고자 하는 방법으로 제시되는 연구분야가 자기지도학습(Self-Supervised Learning-SSL)입니다. 사실 현재는 거의 AI연구에 대부분이 SSL에 관한 것으로 귀결되고 있습니다. 2020년 CNN으로 유명하고  Turing Awards를 수여한 얀리쿤은  AI분야의 유명한 컨퍼런스 중에 하나인 ICLR 기조연설에서 미래의 AI의 연구 방향을 설명하면서 SSL을 강조하였다는 것은 이를 반증한다고 할 것입니다. 물론 SSL이 갑자기 나온 것은 아니지만 지도학습으로 해결할 문제가 더 이상 없기도 하기 때문에 앞으로 연구할 주제로서 부각된 것이라 생각이 됩니다.

SSL은 스스로 지도를 한다는 의미에서 지도학습이지만 labeled data를 별도로 만들지 않기 때문에 비지도학습이라고 할 수 있습니다.  즉 SSL은 labeled data를 한땀 한땀 만드는  것이 아니라 unlabeled data들로 부터 스스로 학습을 할 수 있는 어떤 실마리를 찾아나가는 방법을 다 통칭해서 SSL이라고 이야기 할 수 있습니다. 이 실마리를 어떻게 얻어낼 것인가에 따라 다양한 방법이 존재한다고 할 수 있습니다.

SSL의 중요한 개념이 pretext tasks입니다. 이는 unlabeled data를 이용하여 label에 해당하는 pretext인 실마리를 찾는 작업입니다. 이렇게 만들어진 labeled data를 사용하여 지도학습을 수행하는 것입니다. 특히 이 기법들이 언어학습모델에서 시작되어  많은  pretext task가 제안이 되었습니다. 예를 들어 BERT와 같은 Maked 언어모델에서 사용한 방법으로 단어가 빠진 문장을 주고 누락된 단어를 맞추는 것을 학습하는 방법입니다. 토플 시험에서 많이 나오는 문제와 같은 방법입니다. 

 

또 다른 예로서  context prediction이라는 방법입니다. 객체인식 분야에서 예로 들면 하나의 이미지데이터에서 상대적인 위치를 예측하게 하여 상대적인 공간을 이해할 수 있도록 학습하는 방법입니다.

요즈음에 많이 연구하는 분야는 contrastive learning이라고 하는데, 이는 하나의 데이터를 여러개로 변형하여 유사한 것(positive patch)과 유사하지 않은 것(negative patch)를 생성하여 2개의 짝으로 유사성 여부를 예측하여 학습하는 방법입니다. (이렇게 원본 데이터를 변형하는 것을 augmenation이라하고 이 방법에는 자르거나, 회전하거나 색을 변경하거나 다양한 방법이 존재함)

상기 예는 2개의 이미지데이터로 변형된 patch를 생성하고, 이 patch가 원본데이터에서 생성된 것은 유사한 것으로, 다른 데이터의 patch와는 다른 것으로 학습을 시키는 것을 나타낸 그림입니다.

SSL은 현재 가장 활발한 AI의 연구분야라는 점이며, GPT-3와 같은 언어모델에서 처럼 특정 임무에 종속적이지 않은 모델로 발전하고 있습니다. 자기지도학습을 위한 실마리를 찾기 위한 pretext task를 어떻게 설계하며, mult-media data를 활용한 multi-modal learning을 적용하는 등 다양한 도메인으로 발전해 나갈 것으로 예상되고 있습니다.v