왜 토론토가 AI성지라고 할까요

LG전자..삼성전자 내놓으라는 기업들이 모두 토론토로 갔습니다. 왜 일까요?

AI의 대가라는 토론토대학의 힌튼교수와 몬트리얼대학의 벤지오교수때문이죠. 이들이 모두 딥러닝의 아버지라고 불리는 학자들이죠.

물론 컴퓨터의 노벨상인 튜링상을 모두 수상했습니다.

Neural network 학자들을 캐나다 정부가 연구소를 세워 많이 후원을 했습니다. Connectionism의 연구자들이 홀대를 받을 때 캐나다는 연구소를 세워 이들을 많이 지원해 주었습니다. 

MIT AI lab을 창시한 Marvin Minsky라는 AI계의 거물 교수가 인지과학자로서 connectionism에 매우 회의적인 이론을 제시했거든요.. Neural nerwork로는 학습이 어렵다는 것을 Perceptron이라는 자기 책에서 증명하듯이 이야기를 했습니다. (이로 인해 인공지능의 중세시대가 시작됬다고들 하죠)

Nueral net은 뉴론사이의 연결(이걸 생물학적으로 시냅스라고 하는데)에 가중치가 존재하고 이 가중치를 변경하는 행위가 학습인데.. 많은 뉴런이 연결되면 수학적으로 가중치 변경이 불가능하여 학습이 어렵다고 주장한 겁니다.

그런데 힌튼교수가 0과 1밖에 모르는 무식한 컴퓨터가 그 무식을 속도로 커버할 수 있다 주장한 거죠. 그것도 간단한 편미분으로요.

(이것을 전문적으로 back propagation이라고 합니다. 가중치를 편미분을 이용하여 쉽게 수정할 수 있다고 한거죠)

하여간 캐나다가 connectionism학자들의 연구를 많이 지원하게 되고 이러한 연구소들이 많이 생기게 되었습니다. 토론토대학의 힌튼교수의 제자인 박사과정 학생이 자기 이름을 딴 Alexnet이라는 딥러닝으로 세상을 조금 놀라게도 했습니다.

사실 이론적으로는 그렇지만 현재는  AI프레임워크 관점에서는 미국의 IT기업들이 시장을 주도하고 있다고 생각합니다.