[기고] AI의 기본 쉽게 이해하기 2-1

장중호 서울과학종합대학원 교수

다양한 딥러닝의 알고리즘이 현실화되고 2010년대 들어와 지금과 같이 엄청난 꽃을 피우기 시작한 가장 큰 원인을 나는 컴퓨터와 CPU, GPU의 발전 덕분이라고 생각한다.

내가 인공신경망(Neural Network)을 연구하던 90년대에도 다양한 형태의 신경망 구조 및 알고리즘에 대한 아이디어 들은 많았다.

하지만 이를 뒷바침해줄 컴퓨터 인프라가 없었다. 93년도에 우리 텍사스A&M 주립 대학에도 소위 슈퍼컴퓨터라고 불리던 엄청나게 큰 서버가 있어서, 대학원생들은 그 슈퍼컴퓨터의 일부를 할당 받아서 프로그램을 만들고 돌릴 수 있었다.

내가 연구하던 코르크 이미지를 처리하고 약 1천 개정도의 코르크 마개 이미지를 간단한 한 개층 구조의 MLP 신경망에 넣고 약 5만번 정도의 반복 학습을 시키고자 하면 한번 학습하는데 약 3일 정도가 걸렸다.

그때는 GPU라는 개념은 있었으나 본격적으로 컴퓨터에 적용되지는 않았고, 단지 분산 컴퓨팅이라고 컴퓨터 연산을 하는 CPU를 병렬로 여러 개를 연결하여 한꺼번에 돌림으로써 프로그램을 돌리는 속도를 높이는 연구가 한창이었다.

어쩌면 지금의 GPU 방식의 연산의 전신의 모습이었는데, 단순히 CPU를 병렬로 쌓아 놓고 돌리는 개념이었지, 지금의 GPU처럼 연산자와 메모리를 2차원적으로 한 모듈로 묶어서, 데이터의 처리와 연산처리를 한꺼번에 2차원적으로 하는 구조는 아니었다.

지금 생각해보면 참으로 내가 인공신경망을 연구하던 당시엔 큰 인내심을 필요로 한 것 같다. 내가 원하는 학습데이터를 학교 슈퍼컴퓨터에 걸어놓고, 약 5만번의 반복학습을 걸어 놓고는 난 한없이 기다렸다.

집에 가서 한 숨 자고 와도 여전히 컴퓨터는 돌아가고 있었고, 연구실 앞 맥도날드에서 가장 싼 아메리카노 커피 한잔 마시면서 날밤을 새던 날이 많았다. 몇 일을 돌려 학습된 신경망을 테스트 데이터로 검증을 해보다가 뭔가 파라미터가 잘못되거나 프로그래밍이 잘못되어 다시 처음부터 다시 학습을 또 몇일동안 돌리게 되면 참으로 난감하였다.

하지만 이렇게 고생하면서 뉴럴 네트워크를 연구하던 시대는 그리 오래가지 않았다. 2000년들어서면서 컴퓨터의 성능이 엄청나게 발전하기 시작하였다. CPU의 속도들이 매년마다 10배씩 증가하기 시작하였고, 메모리의 용량도 10배 이상씩 커지기 시작했다.

급기야 GPU라는 개념이 완성되면서 그 유명한 엔비디아라는 회사가 엄청난 성능의 GPU를 만들기 시작했다. 2차원의 개념으로 수백개의 CPU와 메모리가 돌아가는 컴퓨터를 만들었다.

초기엔 주로 게임을 위한 컴퓨터의 그래픽 카드로 쓰였는데, 후에는 AI 컴퓨팅과 비트코인과 같은 전자 화폐의 채굴을 위한 컴퓨터용으로 쓰이면서 엔비디아는 회사는 소위 대박의 대박을 치게 되었다.

매년 마다 GPU와 AI 컴퓨터의 성능이 대폭 증가하면서 인공신경망의 연구는 날개를 달게 되었다. 내가 미국 대학에 있던 90년대 중반에 3일 걸리던 양의 학습이 2000년 후반들어선 단 3시간, 지금은 거의 30분도 안 걸리고 학습을 할 수 있는 시대가 된 것이다.

앞의 글에서 언급했던 딥러닝의 아버지인 캐나다 토론토 대학의 제프리 힌튼 교수의 딥러닝에 대한 연구도 이때부터 꽃을 피우기 시작하였다.

다양한 인공신경망을 매우 복잡한 구조로 쌓기도 하고, 꼬기도 하고, 학습한 결과를 다시 입력 값(input)으로 넣고, 앞 단의 인공신경망의 결과를 뒷 단의 중간 레이어로 연결하는 등 할 수 있는 최대한으로 네트워크를 복잡하게 만들고, 그 안에 규칙을 만들고, 그 규칙에 따라 그 안에 있는 수십만 개의 가중치(weight)들을 조정하는 딥러닝의 과정을 아마도 제프리 힌튼 교수는 이론적으로는 상상을 하고 정리는 해놓고는 학습자체를 진행하지 못하였다가, 새로운 컴퓨터들이 나오면서 자신있게 학습과 연산을 시키고, 그 것을 딥러닝이라고 정의를 하였을 것이다.

즉, AI 발전의 가장 1등 공신은 획기적인 딥러닝의 알고리즘 들을 개발한 사람들 보다는 엔비디아 를 비롯한 엄청난 GPU 기반의 빠른 컴퓨터들을 개발한 사람들이라고 나는 믿는다.

왜냐하면 내가 바로 25년 전에 날밤을 새면서 빠른 컴퓨터의 등장을 너무나 소원했기 때문이다.

두번째로 AI가 발전하게 된 이유는 인터넷의 발전이다. 인터넷을 기반으로 우리는 무한한 데이터를 찾아내고 구할 수가 있다.

사람의 얼굴의 데이터를 모으고 싶다면, 예전엔 내가 직접 카메라를 들고 길거리에 나가서 사람들의 양해를 구하고 연구용으로 쓰는 것이라고 하면서 찍어야 했다. 사람의 음성인식을 위해서 음성파일을 녹음하려고 한다면, 마찬가지로 돌아다니면서 사람의 목소리를 녹음하였다.

하지만 지금은 구글 검색엔진에 들어가서 필요한 이미지나, 음성파일, Text 파일이나, 영상등을 모두 구할 수가 있다. 굳이 내가 직접 나서서 데이터들을 만들거나 할 필요가 없다.

자연어 처리를 위한 다양한 문장들은 인터넷에 들어가서 각 나라별로의 언론사들의 기사들만 모아도 우리에게 필요한 왠만한 문장을 구할 수 있다. 각 나라의 언어 번역을 위한 AI 알고리즘을 위해 각 나라별의 문장이나 어휘 들도 인터넷에서 구한다.

예전엔 각 나라의 언어의 구조에 맞추어, 주어, 동사, 형용사, 부사, 명사 등의 각 문법들을 구성하고 그 형태에 맞추어 단어들을 학습시키고, 번역하려고 하는 타겟 언어와의 문법 구조의 차이를 구조화하고 학습시켜서 하나 하나의 언어의 번역프로그램을 구성하였다면, 지금은 완전히 다르다.

그냥 각 나라의 언어의 수많은 문장들을 그냥 통으로 학습시켜서, 이러한 단어의 구성과 문맥에 따르면 어떠한 의미를 가지는 지를 각각 나라의 언어의 형태로 맞추어 통으로 학습을 시키는 것이다. 이러한 방식이 이전의 번역프로그램보다 훨씬 자연스럽고 매끄럽게 번역이나 통역이 된다.

하지만 이러한 방대한 양의 문장들을 얻을 수 있는 방법은 바로 인터넷 밖에 없는 것이다. 주가를 예측하기 위한 주가의 흐름이나, 날씨, 기타 경제 지표, 의료정보들, 등 우리에게 필요한 모든 데이터는 인터넷에 빅데이터의 형태로 있다.