Douglas' Space

이제는 너무나도 잘아는 chatGPT(Generatie Pre-trained Transformer)이지만 워낙 화두가 되다보니 이에 대해 글을 정리할 필요가 있어서 본 글을 작성해 보았습니다. chatGPT를 이용하거나 사용하는 관점이라기 보다 어떻게 chatGPT가 만들어졌는지의 관점에서 기존의 이 섹션에서 소개한 인공지능 기술들을 기준으로 설명을 드리고자 합니다. (사실 GPT의 마지막단어가 Transformer라는 것을 생각하면 지난번 소개한 구글의 Transformer모델이 등장하면서 언어모델 뿐만 아니라 다른 인공지능 모델에 많은 영향을 주었습니다. GPT3 등과 같은 초거대언어모델 및 멀티모달 인공지능 모델, 자기주도학습모델 들이 예견되었다고 해도 과언이 아닐 정도로 Transformer기술이..

DARPA는 신뢰성, 안전성, 보안성, 생존성 등을 요구하는 defense system과 같은 dependable system에는 학습데이타에 양과 질에 의존적인 딥러닝 기반의 data-driven Ai는 한계가 존재한다고 인식하고 있습니다. 또한 ANI(artificial narrow intelligence)를 넘어 AGI(artificial general intelligence)로 발전하기 위해서는 새로운 인공지능 기술이 필요함을 인식하고 이를 위해서는 사람이 갖고 있는 상식이나 기본적인 배경지식을 포함하는 contextual model을 구축하는 것을 목표로 하고 있습니다. 이러한 새로운 Ai의 접근을 contextual adaptation이라고 지칭하며 이를 위한 알고리즘과 구조를 개발하기 위한 ..

ACE(Air Combat Evolution) 프로그램은 유인조종사와 함께 협업할 무인기에 탑재될 Ai조종사의 성능과 신뢰성을 검증하고 실현하기 위한 프로그램입니다. 프로그램의 이름처럼 공중에서의 전투 혁명을 이루려고 하는 DARPA의 Ai 프로그램 중의 하나입니다. ACE는 도그파이팅 문제에 AI 기술을 적용해 현실감을 높이는 실험을 진행하고 있습니다. 프로그램은 크게 4개의 TA(Technical Area)로 나누어져 3단계로 진행될 예정으로 계획되어 있습니다. TA1은 개인 및 팀 수준(local behavior)의 전투성능을 발휘하는 인공지능 알고리즘 개발을 목표하며, TA2는 이러한 local behavior의 전투성능에 대한 신뢰성을 측정하고 검증합니다. TA3는 이질적인 다수의 전투기(glo..

DARPA는 2018년에 “AI Next” 캠페인을 발표하고 AI 분야에 많은 투자를 진행하고 있습니다. 이 캠페인을 시작하면서 DARPA는 50년간의 오랜 기간 동안 인공지능에 투자를 한 성과를 기반으로, 인공지능의 1, 2세대를 지나 새롭게 인공지능의 제3세대를 개척하겠다는 목표로 “Artificial Intelligence Exploration(AIE)” 라는 프로그램을 런칭하였습니다. 현재 AIE라는 프로그램 내에서 많은 AI관련 프로젝트가 진행되고 있습니다. DARPA는 3세대의 인공지능은 기계가 인간이 프로그래밍한 규칙을 실행하거나 인간이 선별한 데이터 세트를 일반화하는 단순한 도구를 넘어서 인간의 동료가 될 것이라고 기대하고 있습니다. DARPA는 맥락을 이해하고 추론하는 기계를 제공하는 제..

앨런튜링은 생각하는 기계를 만들고 싶어하였고, 그것이 결국 오늘날 컴퓨터의 효시가 되었습니다. 따라서 컴퓨터는 사람이 하고자 하는 일을 대신해 주는 에이전트의 역할을 수행하도록 여러가지 형태로 발전되어 왔다고 할 수 있습니다. 인간과 컴퓨터를 시스템이론 관점에서 살펴보면 “입력(Input)-처리(Process)-출력(Output)”, IPO로 추상화하여 소개할 수 있습니다. 따라서 인공지능은 인간의 에이전트로서 컴퓨터에 지능을 구현하는 것이라 할 수 있으며, 주로 소프트웨어인 프로그램(데이터를 포함)으로 구현된다고 할 수 있습니다 . 지능은 IPO관점에서 P에 해당하는 인간의 뇌의 활동에 의한 능력을 구현하는 것이라고 말할 수 있습니다. 그렇다면 인간의 지능이란 무엇일까요? 지능은 한마디로 정의하기 어렵..

2019년 7월 15일, 맨체스터 과학산업박물관의 한 행사에서 영국중앙은행총재가 영국의 50파운드 새지폐에 인쇄될 인물을 소개하였습니다. 그 인물은 바로 앨런튜링(Alan Turing)이라는 컴퓨터과학자였습니다. 최고의 컴퓨터과학자에게 시상하는 컴퓨팅분야의 노벨상, 튜링어워드의 바로 그 튜링이라는 인물이었습니다. 지폐에 새겨진 사진은 튜링의 39세 때의 사진으로 알려져 있습니다. 스티븐호킹, 대처영국수상과 같은 인물도 후보에 있었다고 하는데, 왜 컴퓨터 분야의 사람들만 알고 있는 튜링이라는 컴퓨터과학자가 선정이 되었을 까요? 지폐에 새겨진 앨런튜링과 관련된 다른 사진과 숫자, 문자들에 그 답이 있지 않나 생각합니다. 튜링 뒤에 새겨진 그림은 컴퓨터와 비슷한 장치들처럼 보입니다. 이 장치들이 튜링이 설계한..

지난번 소개한 음성인식은 특정한 개인에 종속되지 않고 사람이 발성하는 언어를 이해하여 텍스트로 변환하는 기술입니다. 화자인식기술은 특정 개인이 발성한 음성을 인식하여 그 화자가 누구인가를 알아내는 기술입니다. 다시 말해 음성정보를 입력하는 것은 동일하지만 그 출력 결과는 발화한 내용을 출력하는 것이 음성인식이고, 발화한 사람이 누구인지를 식별하는 것이 화자인식입니다. 따라서 인식하고자 하는개별적인 화자들의 음성 특징이 필요할 것이라는 것을 쉽게 짐작할 수 있을 것입니다. 아래 그림은 음성인식과 화자인식의 차이점을 설명하고 있습니다. 또한 화자인식의 수준 또는 기능을 화자식별(speaker identification)과 화자검증(speaker verification)으로 나눌 수 있습니다. 화자식별은 등록..

딥러닝 기반의 인공지능이 다루는 데이타는 텍스트, 그래픽, 이미지, 동영상, 오디오 등이 있습니다. 이를 멀티미디어 데이타라고 합니다. 지금까지 주로 텍스트, 그래픽, 이미지 및 동영상과 관련된 기술에 대해 설명드렸습니다. 이번 시간부터는 오디오와 관련된 음성처리기술에 대해 정리해 보고자 합니다. 특히 사람과의 대화가 가능하도록 하는 음성인식 및 합성 기술에 대해 살펴보도록 하겠습니다. 음성인식은 사람이 말하는 음성을 텍스트로 변환하는 기술이라고 할 수 있습니다. 따라서 이를 기술적으로는 Speech-To-Text(STT)라고 부릅니다. 반대로 음성합성은 텍스트를 음성으로 변환하는 기술로 Text-To-Speech(TTS)라고 할 수 있습니다. 음성인식을 위해서는 먼저 사람의 음성이 아날로그이기 때문에 ..

초기에 machine learning의 방법중 unsupervised learning을 설명하면서 차원축소(dimensionality reduction)에 대한 이야기를 한 적이 있습니다. 그리고 얼마전 metric learning, word embedding, transformer 등을 이야기하면서 latent vector, embedding vector 등을 언급한 적이 있습니다. 사실 이 모두가 차원축소의 개념에 포함된다고 이야기할 수 있습니다. 차원축소는 인공지능 분야에서 사용하는 중요한 방법 또는 도구의 하나라고 할 수 있습니다. 차원축소를 단어적으로 쉽게 이해할 수 있는 것은 고차원을 저차원으로 축소한다는 것입니다. 우리가 인지할 수 있는 공간의 개념에서 설명하면, 3차원의 데이타를 2차원의 ..

AI나 컴퓨터와 관련해서 새로운 용어들이 계속 등장합니다. 그리고 요즘 세계적인 리서치회사에서 새로운 기술들의 개념을 쉽게 이해하도록 신조어들을 만들어 냅니다. 그래서 많은 사람들이 왜 이렇게 모르는 용어가 많으냐고 불평하기도 하는데, 아이가 태어나면 이름이 붙여주듯이 어떤 기술 및 개념에 이름을 붙인다고 이해하시면 좋겠습니다. 이렇게 이름을 붙이는 것도 추상화(abstaction)의 한 기법이 아닐까 생각합니다. Federated learning이란 새로운 모델을 의미하는 것이 아니라 학습을 하는 형태를 구분하는 용어라고 이해하시면 될 것 같습니다. federared learning은 다수의 분산된 edge device 또는 서버들이 각각에 저장된 데이타를 활용하여 스스로 local model을 학습을..