엔씨소프트, AI 연구 8년…"게임, 더 재미있고 편해졌다"

엔씨소프트의 인공지능(AI) 기술을 엿볼 수 있는 행사가 마련돼 눈길을 끌었다.

엔씨소프트는 지난 2011년부터 AI 관련 연구 개발을 시작했으며, 현재 2개 센터 산하에 5개 랩(Lab)을 운영하고 있다. AI 전문 연구 인력은 150여명이다.

이 회사는 축적된 AI 기술을 바탕으로 PC 게임 블레이드앤소울의 비무 AI NPC와 AI 야구 정보 서비스 페이지를 선보였다. 최근 공개된 AI 게임 음성 명령 보이스 커맨드 시스템은 올해 리니지M 등 게임에 적용하는 것을 목표로 연구 개발이 한창이다.

18일 엔씨소프트는 판교 R&D 사옥에서 미디어 토크 행사를 개최하고 AI 연구의 역사와 개발 성과 등을 공개했다.

이 자리에는 이재준 AI 센터장과 장정선 NLP(자연어처리) 센터장, 한운희 미디어인텔리전스랩 실장 등이 참석했다.

행사는 한운희 실장의 AI 개발 조직 역사와 소개로 시작됐다. 이어 이재준 센터장과 장정선 센터장이 AI 연구 개발 특징과 현황, 질의응답 순으로 진행됐다.

한운희 실장은 이날 “엔씨소프트의 AI는 문제를 해결하는 기술 도구다. AI기술을 통해 기존보다 더 나은 해결책을 제공하고 사용자가 새로운 가치를 경험할 수 있도록 노력하고 있다”며 “고립된 상태에서 연구 개발은 하지 않는다. 끊임 없이 협업하고 있는 많은 분들과 함께 고민하는 조직으로 갖췄다”고 말했다.

이어 “AI 조직은 크게 세단계로 성장했다. 인원 측면으로 보면 조직 셋업, 조직 빌드업, 스텝업이다. 각 단계마다 필요한 인력을 확충했고 연구 개발을 진행했다. 1명으로 출발해 150여명으로 늘었다”며 “조직은 크게 AI 센터와 NLP 센터가 있다. 두 센터는 모두 게임과 IT 전 분야에 걸쳐 가치를 증대하고 창출하는 AI 연구 개발을 추구한다”고 덧붙였다.

엔씨소프트의 AI 센터는 지난 2011년 2월 TF(태스크포스)로 처음 출발했다. 이후 2012년 AI랩, 2016년 1월 AI센터로 확대됐다. 이어 2015년 1월 AI랩 산하 NLP팀, 1년 뒤인 2016년 1월 AI센터 산하 NLP랩, 2017년 9월 NLP센터로 규모를 키웠다.

AI센터는 크게 게임 AI랩과 스피치랩, 비전 AI랩으로 나뉜다. 게임 AI랩은 개발 및 서비스를 도와주는 AI 기술 개발을 위한 조직이다. 스피치랩은 음성 인식 및 의도 이해 기술 연구, 비전 AI랩은 이미지와 동영상을 인식해 의도에 따라 변형하는 기술 개발을 목표로 움직이고 있다.

NLP센터는 언어 AI랩과 지식 AI랩이 있다. 언어 AI랩은 사람의 말을 이해하고 생성하는 자연어처리 기반 기술, 지식 AI랩은 다양한 데이터를 분석해 흥미롭고 유의미한 지식을 생성 요약 추론하고 상황에 맞춰 적절하게 활용하는 부분을 연구 중이다.

그렇다면 엔씨소프트는 AI 연구 개발 목표는 무엇일까.

더 재미있고 사용하기 편하며 가치 있는 게임과 IT 서비스를 고객에게 전달하는 것이었다. 기반 기술 연구 개발을 위해선 근본적인 혁신과 활발한 공유와 소통, 교류, 협력 등이 필요하다고 한운희 실장은 설명했다.

엔씨소프트는 국내 AI 분야 대학원 연구실 13곳과 긴밀한 연구협력을 맺는 등 산학과 긴밀히 연계해 활발한 연구 활동을 진행하고 있다. 지난해에는 NLP 분야의 최고 권위자로 꼽히는 임해창 전 고려대학교 컴퓨터학과 교수를 자문교수로 영입하기도 했다.

AI 조직과 조직별 과제에 이어 게임 도메인에서 AI 기술을 활용하는 ‘가치의 증대’, AI 기술 혁신을 통한 ‘새로운 가치를 제공’에 대한 발표도 있었다. 각각 이재준 AI센터장과 장정선 NLP센터장이 나섰다.

두 센터장은 각 센터가 진행하고 있는 연구 개발 성과와 진행 중인 일부 프로젝트를 공개하고 설명했다.

이 센터장은 AI 기술 가치 증대에 대해 “게임 속에서 AI 활용을 고민해왔고, 일부 개발과 서비스에 적용하고 있다. 대표적으로는 어시스턴트 AI가 있다. 게임의 AI 기술 활용이다”며 “개발 부문으로 보면 블레이드앤소울 비무 AI NPC와 비슷한 게임 플레이 AI, 게임 기획 지원 AI, 아트 제작 지원 AI, 개발 검증 지원 AI다. 서비스 부문은 플레이 편의 기능, 채팅 편의 기능, 게임 중계 편의 기능 등이 있다”고 소개했다.

이 센터장은 이날 아트 제작 지원 AI를 집중 소개했다. AI는 초기 작업과 반복 작업, 개발자는 창의적이면서 고품질 작업을 분담케 하는 게 핵심이었다. 모션 스타일 트렌스포, 텍스트 투 애니메이션, 얼굴 모델링이다.

모션 스타일 트렌스포 기술은 캐릭터 모션에 AI가 특정 스타일을 입히는 기술이다. 학습기반 환경과 상호작용하는 신체 동작을 자동 생성하는 기술이다. 예를 들어 벽을 올라갈 때 지형에 따른 캐릭터 동장을 기계학습을 통해 자연스럽게 만들어준다.

최근 연구를 집중하고 있는 분야는 텍스트 투 애니메이션이라고 밝혔다. 캐릭터 대사를 애니메이션으로 자동 생성하는 기술이다. 얼굴 표정 생성과 립싱크, 몸동작 추천 등을 AI가 개발자 대신 해주는 식이다.

캐릭터 얼굴과 아이콘 자동 생성도 개발 중이다. 얼굴 사진에서 캐릭터 얼굴을 3D 모델화, 실사 이미지에서 게임 아이콘 자동 생성, 추상적 묘사에 따른 얼굴 자동 생성 등을 활용한 NPC 얼굴 모델링이다.

보이스 커맨드에 대한 내용도 소개했다. 보이스 커맨드는 간단한 게임 조작 등을 음성 명령을 통해 활용할 수 있도록 구성된 게 특징이다. 엔씨소프트 측은 리니지M 등 일부 게임에 해당 기술을 적용할 계획이다.

이 센터장은 “(보이스 커맨드는)호출어 인식과 명령어 인식을 AI가 인식하고 이해해 수행하는 것이다. 아직 기술적 도전 과제는 남아있다. 단말기 리소스 제약, 주변 잡음, 개인별 발성 상황에서 발생하는 문제 해결”이라며 “단계적으로 할 생각이다. 기술 부서다보니 올해 안에 어느 정도 호출어와 명령 인식 수행하는 정도로 구현 완성을 목표로 준비하고 있다”고 말했다.

또한 그는 “(리니지M에 보이스 커맨드를)적용하는 시점은 저희가 결정할 수 있는 부분은 아니다. 리니지M 사업 쪽과 논의 중”이라며 말을 아꼈다.

장정선 센터장은 AI에 새 가치와 새 방향성에 말했다. AI 기술을 토대로 한 서비스가 핵심이었다.

서비스적인 접근은 야구로 먼저 풀었다. AI 기술을 활용해 야구 콘텐츠를 실시간으로 생성 요약 편집하고, 이용자가 원하는 팀과 선수의 정보를 편리하게 제공해주는 서비스와 AI 기술의 결합이었다.

엔씨소프트는 AI 기반 야구 정보 서비스인 페이지를 제공하고 있다. 야구 경기에서 핵심적인 장면을 추출해 요약 영상을 생성하고 플레이 단위의 영상 자동 선별, 영상 검색 및 영상 등이 통합된 하이라이트 영상 AI 콘텐츠를 다음 달 중 선보일 계획이다.

여기에 다양한 AI 기술과 통합도 시도하고 있다. 사용자와 감정적으로 교감할 수 있는 액티비티 기술과 AI 기술의 결합이었다. 이를 통해 엔씨소프트의 다이노스 구단이 이기면 자동 메시지를 보내고 이를 쌍방향 채팅 기술로 대화하거나 관련 콘텐츠로 연결해주는 방식을 연구하고 있다.