[AI전문가] 하정우 네이버 리서치 헤드 "OCR은 한국이 세계 최고...'설명 AI'에 승부 걸어야"

"네이버가 구글보다 더 뛰어난 인공지능(AI) 기술도 있다. OCR(Optical Character Recognition,광학식문자판독)이 그렇다. OCR은 우리가 세계 최고다. 한글과 일본어 음성 합성도 세계에서 제일 앞서 있다."

하정우 네이버 클로바AI(CLOVA AI) 리서치 헤드(이사) 얘기다. 그는 "우리나라가 세계적 AI강국이 되는데 힘을 보태고 싶다"며 이 같이 말했다.

'클로바AI'는 네이버가 2017년 12월 만든 AI전문 조직이다. 당시 경영진의 전폭적인 지지를 받고 탄생했다. 클로바(CLOVA)라는 이름은 'CLOud Virtual Assistant'를 줄인 말이다. AI 원천 및 응용기술 연구에 주력한다. 이 기술을 네이버와 라인 서비스에 적용하고 때로는 자체 서비스도 개발한다. 출범 당시 80여명에서 출발했는데 지금은 수백명 조직으로 커졌다.

서울대서 머신러닝으로 석박사를 한 그는 2015년 3월 네이버에 연구원으로 입사했다. 이후 음악서비스 론칭 등 연구와 비즈니스를 넘나들었고, 현재 '네이버 AI'를 '지휘'하고 있다. 대표 논문을 포함해 약 90편 이상 논문을 국내외 학술행사에 발표했고, 구글 스칼라(Google Scholar) 기준 논문 인용수 2200회 이상을 기록했다.

그가 이끄는 클로바AI는 지난 2년여간 적잖은 성과를 올렸다. 세계적 AI학회에 발표하는 논문이 매년 증가하는 등 '내공'이 탄탄해져 가고 있다. 하 리서치 헤드는 "국내 기업 중 아이클리어(ICLR)나 CVPR 같은 세계적 AI학회에 우리가 논문을 가장 많이 발표한 것 같다"면서 "올해도 4월까지 18개 논문을 발표했다"고 밝혔다. 그는 네이버 데이터 AI리더도 맡고 있다. 또 국무총리산하 공공데이터전략위원회 위원으로도 활동하고 있다. '네이버 AI'가 궁금해 최근 성남시 분당에 있는 네이버 본사에서 하 리서치 헤드를 만나봤다.

우리나라가 세계적 AI국가가 되는데 기여하고 싶다는 하정우 네이버 클로바AI 리서치 헤드.

-클로바AI를 소개해달라

"2017년 12월 설립했다. 네이버 서비스를 위한 AI 원천 기술부터 응용 기술까지 개발한다. 네이버나 라인 서비스에 적용하는 AI를 연구하고 자체 서비스도 개발한다. 처음 시작할때는 80여명이였다. 정확히 밝힐 수 없지만, 지금은 수백명이 근무하고 있다. 연구자와 개발자 외에 기획자 등 다양한 사람들이 있다."

-주로 어떤 연구를 하나

"기술로 보면 크게 9가지다. 자연어처리(NLP), 음성 인식(Speech), 음성 합성(Voice), OCR, 비전(Vision), 얼굴 인식(Face), 머신러닝 플랫폼(NSML), 비디오 분석(Video), 텍스트 분석(Text) 등이다. 핵심 AI 엔진 개발에 주력하고 있다. 딥러닝이 나오면서 각 분야가 거의 비슷한 기술을 쓴다. 그러다 보니 원천 기술이 중요하고, 연구(리서치)만 하는 팀을 따로 운영하고 있다."

-9개 분야 중 제일 어려운 기술은 뭔가

"쉬운 게 하나도 없다(웃음). 모두가 일정 수준까지는 쉽게 도달한다. 데이터와 GPU만 있으면 된다. 문제는 그 다음이다. 사용자를 만족시키는 마지막 단계가 굉장히 힘들다. 70, 80까지는 어느 정도 되지만 90이나 95로 끌어올리는 건 정말 어렵다."

-직원들 맨파워는

"학교 분포나 석박사 비중은 나도 모르는 비밀이다(웃음). 요즘은 상위권 대학이 아니여도 잘하는 친구들이 굉장히 많다. 학벌보다 얼마나 잘하는지를 보고 채용한다. 학교 불문, 학위 불문이다. 실력이 더 중요하다."

-몇년전 AI 분야 세계적 석학 성 킴(sung kim) 홍콩대 교수를 영입해 화제가 됐다

"클로바AI가 발족되기 전 태스크포스(TF)를 운영했다. JTF(J태스크포스)다. 아이언맨에 나오는 '자비스' 같은 AI비서를 만들어 보고 싶어 이름을 JTF라 지었다. 이 JTF가 발전해 클로바AI가 된거다. 세계적 원천 기술 역량을 확보하고 싶었고, 그래서 성 킴 교수를 모셔왔다. 교수님은 SW공학분야 세계 최고 학회인 ICSE에 논문 6편을 게재한 SW분야 세계 석학이다. 한국인으로는 유일하게 ICSE 우수 논문 상을 두번이나 받았다. 교수님과 함께 그림을 그려가며 클로바AI를 만들었다."

-네이버와 구글의 AI를 비교하면

"전체 평균을 비교하면 당연히 구글, 페이스북과 경쟁이 쉽지 않다. 세계에서 잘하는 사람들이 그 곳에 다 몰려 있다. 그들은 투자도 엄청한다. 하지만 네이버가 구글보다 앞서는 세계 제일 기술도 있다. OCR이 대표적이다. 한글과 일본어 뿐 아니라 영어도 OCR은 우리가 세계 최고 수준이다. 구글이 공개한 것보다 우수하다. 또 한글 음성 합성과 일본어 음성 합성도 우리가 제일 잘한다. 얼굴인식도 뒤지지 않는다고 본다. 얼굴 인식은 중국 센스타임과 일본 NEC가 세계 최고인데, 우리가 진행하는 얼굴인식 프로젝트도 밀리지 않는다고 본다."

-자연어처리 분야는 어떤가

"구글이 버트(BERT)를 내놨는데, 한글에 공을 쏟고 있지 않다. 버트와 비슷한 모델로 우리는 라르바(LaRva)라를 만들었다. 라르바 기반 서비스도 제공하고 있다. LG CNS가 공개한 한국어 질의응답 데이터셋인 '코콰드(korquad)'에서 라르바가 1위를 차지하기도 했다. 라르바는 버트를 골간으로 했지만 우리 자체적으로 학습을 최적화 했다. API로 공개하지는 않았다."

-네이버와 구글간 개발 문화를 비교하면

"구글에서 일을 하지 않아 모르겠지만, 연구문화는 밀리지 않는다고 본다. 연구 주제를 최대한 배려하고 있고, 연구원 역량 신장에 힘쓰고 있다. 기업이다 보니 가장 중요한 건 연구와 회사 비즈니스가 일치하는 거다. 연구원들이 논문을 많이 쓰고, 프로젝트에도 많이 기여하게 하고 있다."

-클로바AI가 설립한 지 2년이 넘었다. 그동안 성과는

"먼저 비즈니스 측면에서 말하고 싶다. OCR이나 음성인식과 합성, 얼굴 인식 기술은 세계 톱 레벨에 올랐다. 이 중 일부는 이미 네이버 서비스에 적용됐다. 또 네이버가 사다 쓰던 AI엔진을 자체 개발, 내재화한 것도 보람이다. 최근 클로바AI가 만든 것 중 가장 유명한 건 'AI콜' 자동응답이다. 이번 코로나 사태때도 큰 역할을 했다. 성남시가 우리 AI콜을 이용해 코로나 확산을 막았다. 모 대형 유통점에 전화를 하면 우리가 개발한 AI가 전화를 받는다. OCR 서비스도 자랑거리다. 국내 금융권에서 많이 사용하고 있다. 코로나 이슈가 터지면서 음성 더빙이 부상했는데, 우리가 만든 '클로바 더빙'도 호평을 받고 있다. 뉴스 동영상 자막을 자동으로 뿌려주는 서비스 기술도 개발했다."

-연구와 학술면에서는 어떤가

"2018년에 세계적 AI학회에 논문 15편을 발표했다. 지난해에는 26개 논문을 발표했다. AI는 학회 발표가 저널 게재보다 더 힘들다. 제출 논문 중 20% 정도만 발표가 이뤄진다. 학술 행사다 보니 평가가 까다롭다. 리뷰어들이 최소 3명, 많게는 5명이나 된다. 학회 발표 논문 수로만 보면 국내 회사 중 우리가 제일 많이 발표한 것 같다. 올해도 4월까지 18개 논문을 발표했다. 작년 기록을 무난히 깰 것 같다. 세계적 AI 학회에 발표하는 논문이 매년 증가하고 있다는 건, 우리가 세계적으로 인정받고 있는 연구를 하고 있다는 거다. 연구에 그치지 않고 서비스로 이어지게 하는 게 중요하다. 연구->개발-> 서비스 선순환 구조를 만들기 위해 애쓰고 있다."

네이버가 매년 개최하는 개발자 컨퍼런스 데뷰(DEVIEW) 2017년 행사에서 발표하고 있는 하정우 리더.

-세계적 AI 학술 컨퍼런스는 어떤게 있는 지 궁금하다

"AI 각 분야별로 1~2개씩은 있다. 컴퓨터비전, 자연어처리, 머신러닝, 딥러닝, 데이터마이닝 등 분야별 1~2개씩, 합치면 10개 정도는 되는 것 같다. 예를 들어 머신러닝과 딥러닝은 뉴립스(NeurIPS)와 아이클리어(ICLR) 학회가 세계 톱인데 최근에는 아이크리어가 더 뜨고 있다. 벤지오와 얀 르쿤이 규모는 작지만, 컴팩트하게 제대로 깊이 있게 다루기 위해 만든 학회다. 구글 스칼라(Google Scholar) 컨퍼런스 기준 머신러닝 분야 톱 레벨이다. 트리플에이아이(AAAI)도 전통과 권위가 있는 AI 학회다. 컴퓨터 비전은 IEEE가 주관하는 CVPR(Computer Vision Pattern Recognition,컴퓨터 비전 패턴 인식 학회)를 알아준다. 구글 컨퍼런스 랭킹을 보면 CVPR이 뉴립스(NeurlPS, Neural Information Processing systems)보다 위다. 다음달 CVPR 학회가 온라인으로 열리는데 우리가 논문 5편을 발표한다. 자연어처리 분야는 ACL이나 EMNLP가, 음성은 ICASSP와 인터스피치(Interspeech)가 유명하다. 네이머가 타깃으로 하는 학회는 아이클리어, 뉴립스, CVPR, ACL, 인터스피치 등이다."

-유럽에도 네이버 AI연구소(네이버랩스 유럽)가 있다. 어떤 관계를 유지하고 있나

"긴밀히 협력 하고 있다. 코로나때 활약한 'AI콜' 서비스를 고도화하는 작업도 그 곳에서 한다. 협업 프로젝트가 여러개 된다. 이전에는 격주로 공동 미팅을 했는데, 최근 월간으로 바꿨다. 인력 교류도 하고 있다. 유럽서 한국에 장기 출장을 오기도 한다.1년간 한국에 왔다 간 연구원도 있다. 우리도 동영상팀이 몇개월간 유럽에 파견 나간 적이 있다."

-유럽과 비교하면 한국 AI 기술 수준은 어떤가

"전반적으로 보면 우리랑 비슷하다. 유럽이 잘하지만, 우리도 뒤지지 않는다. 분야마다 잘하는 것이 서로 다르다. 거기서 잘하는 게 있고, 우리가 잘하는게 있다."

-한국에서도 AI 4대 천왕이 나올 수 있을까

"그 분들이 4대 천왕인 이유는 잘 한 것 뿐 아니라, 뉴럴넷 겨울 시절을 굴하지 않고, 꾸준히 욕 먹으면서도 한우물을 판 결과다. 당국의 꾸준한 지원도 한 몫을 했다. 기술이든 뭐든 우리는 축적에 약하다. 쉽지 않지만 우리도 잘 축적하면 가능할 것이다. 외국에 있는 한국인 중 명성이 높은 AI 학자는 이홍락 미시건대 교수와 조경현 NYU 교수다. 조 교수는 현재의 네이버 파파고와 구글 번역기가 나오는데 큰 역할을 했다. 구글과 네이버 서비스는 모두 조 교수가 만든 모델을 활용했다. 조 교수가 세계 처음으로 만들었다. 작년에 조 교수가 같이 내가 아이클리어에 논문을 내기도 했다. 조 교수는 우리 연구 어드바이저이기도 하다."

-인터뷰 제목이 AI전문가다. 하 리더는 어떤 면에서 AI전문가인가

"컴퓨터 터공학을 전공하고 석박사 지도 교수 연구실에 들어가면서부터 머신러닝과 인연을 맺었다. 이후 9년을 머신러닝과 살았다. 국내서 AI바람이 분게 알파고 이후다. 4년이 약간 넘는다. 나는 최근 5년간 딥러닝으로 석박사 학위를 받았다. 또 딥러닝으로 서비스를 만들어 봤고, 프로젝트 매니저(PM)로도 일했다. 5년이라는 짧은 시간에 연구와 개발과 서비스 론칭까지 다 해봤다. 흔치 않은 경험이다. 지금도 연구 논문을 쓰면서 서비스PM 일을 하고 있다. 머신러닝은 물론 자연어처리, 컴퓨터 비전도 할 줄 안다. 개별 연구만 보면 나보다 더 잘하는 연구원들이 네이버에도 많이 있다. 하지만 연구와 비즈니스(서비스)를 모두 알고, 이 둘을 연결하는 일은 내가 잘 한다."

-정부가 AI강국을 위해 여러 노력을 하고 있다. 기술면에서 우리나라가 집중해야 한다면 어떤 기술이 좋을까

"우리나라가 퍼스트무버로 가겠다고 생각을 한다면 설명가능한 AI가 가장 적합하다고 본다. 세계적으로 설명가능한 AI를 제대로 하는데가 아직 없기 때문이다. 구글이 잘하고 있지만 여전히 초기 단계다. 우리가 퍼스트무버로 갈 수 있는 여지가 있다. 그럼에도 가시적 성과가 아직 나오지 않고 있다. 그만큼 어렵다는 거다. 설명 가능한 AI는 AI연관산업인 'AI+X'와도 관련이 있다. AI는 기술 외에 사람 생활 속에 녹아들어가야 한다. 일상 속 AI는 아직 길 길이 70~80%나 남았다. 이중 어떤 것은 우리가 퍼스트 무버가 될 수 있다. 금융이든 의료든 설명가능한 AI가 녹아들어가면 경쟁력을 높일 수 있다. HCI도 중요하다고 본다. AI 학술 연구가 모델 과 데이터 자체에 방점이 많이 가 있는데, 결국은 소비자가 써야 한다. 이를 위해서는 기술을 더 편하게 만드는 HCI가 중요하다."

하정우 리더(왼쪽)가 2017년 열린 Neural IPS 행사 부스에서 채용상담을 하고 있다.

-AI 인력 양성에 대한 생각은

"세계적 수준 연구자 100명을 양성해야 한다는 것에 동의한다. 회사 입장에서 보면 AI를 활용, 개발할 수 있는 인원이 많이 필요하다. 도메인 날리지가 있는 AI엔지니어들이 태부족하다. 엔지니어들이 AI에 친숙하면 사용자에 가치를 주는 서비스를 더 많이 만들어 낼 수 있다."

-AI엔지니어는 각 기업이 교육할 수 있지 않나

"이미 기업이 자체적으로 많이 양성하고 있다. 네이버도 그렇지만 삼성전자, NC, SK 등이 각자 사내 교육 프로그램을 운영하고 있다. AI가 전공이 아니지만 SW 기초 교육을 받고 AI를 전공하는 개발자들도 꽤 있다. '모두의 연구소' 같은데가 이런 역할을 한다. 당국이 이런 곳을 많이 지원해줬으면 좋겠다."

-초등학교에서도 AI 교육이 이뤄진다. 뭘 가르쳐야 할까

"일단 환영한다. 초중고 AI교육 커리큘럼 미팅에 자문으로 가기도 한다. 초등학교 AI는 소양만 가르치는게 맞다고 생각한다. AI란 무엇인가? AI와 살아가는 건 어떤 의미가 있는가? 등을 가르치는 것이다. AI와 친숙하게 하는게 중요한데, AI를 이용해 재미있는 무언가를 걸 해보게 하는 게 좋은 방법이다.

가르치는 시간이 적은 걸 고려하면, AI보다 SW 코딩을 가르치는게 더 낫다고 본다. AI도 결국 SW역량이 기본이다. 중국은 AI를 초등학교때부터 '심하게' 가르치는데 우리나라 환경에는 적합하지 않다."

-AI 분야에서 개인적인 성취나 바람이 있다면

"우리나라가 AI 퍼스트무버가 되는데 기여했으면 좋겠다. 나라 전체가 잘 돼야 기업도 좋다. 사회가 AI에 친숙하면 더 많은 서비스를 사용할 거고 그만큼 기업도 득이다. 글로벌 경쟁력도 자연스레 올라간다.

우리나라가 세계적 AI 강국이 됐으면 좋겠다. 우리나라와 네이버가 세계 최고 AI기술과 서비스를 만드는데 함께 했으면 하는 사람들이 있으면 언제든 네이버 클로바AI 문들 두드려달라. 우리는 항상 열려 있다. 당국에 바라는 것도 있다. 경진 대회 등 AI관련 행사가 많은데 보다 체계적이였으면 좋겠다. 예를 들면 세계적 AI 온라인 경진대회인 '캐글'과 유사한 '한국 AI 플랫폼'을 만들었으면 좋겠다. 데이터3법이 국회에서 통과됐는데 이에 따른 세밀한 규제 완화도 함께 이뤄졌으면 좋겠다."

■하정우 네이버 클로바AI 리서치 헤드(이사)는...

<학력>

=서울대학교 전기컴퓨터공학부 학사(97년 입학), 석박사 (2015.2 졸)

<경력>

네이버 기술성장위원회 인공지능영역 리더(현), 국무총리산하 공공데이터전략위원회 위원(현), 미래보안포럼 위원(현), 대한전자공학회 협동이사(현), 대한전자공학회 신호처리소사이어티 협동부회장(현), SW중심대학 2차사업 자문위원(현), 네이버 클로바 뮤직 PM(전), 네이버랩스 테크 리드(전), 삼성SDS 소프트웨어 엔지니어(전)

<수상>

서울대학교 컴퓨터공학부 2014년도 가을학기 최우수 박사학위 논문상(2015. 2), IEEE 서울지역 학생 논문 발표대회 Gold prize 공동저자(2012. 12), 삼성SDS 최우수 신입사원상(2004. 12) 등.