"메타버스로 신체 얻은 AI, '양방향 소통'이 존재 이유"

"지금까지는 대화형 인공지능(AI)이 음성이나 텍스트만으로 이뤄진 이용자 요청을 받아들였다. 그리고 AI가 다시 메시지나 음성으로 답안을 내놓으면, 이용자는 이 내용을 다시 머릿속에서 이미지나 소리로 연상해 이해하곤 했다. 메타버스에서의 AI는 그럴 필요가 없다. 이용자의 눈빛이나 표정 등 비언어적 표현까지도 이해하고, 이를 고려한 반응을 내놓을 수 있게 된다. 이야기가 구전이나 책으로만 소비되다가 유튜브 등의 영상 매체로도 전해지게 된 것과 마찬가지 효과가 있다."

김성현 솔트룩스 디지털휴먼팀장은 인터뷰에서 AI 서비스가 메타버스를 만나 발전할 방향에 대해 이같이 전망했다.

솔트룩스는 음성인식(STT), 음성합성(TTS) 등 각종 AI 기술 기반 사업을 펼쳐온 회사다. 데이터 분석, 맞춤형 추천, 챗봇 등의 서비스를 제공해왔다. 메타버스라는 새로운 트렌드에 대응해서는 아바타 기반 대화형 AI를 고도화하는 데 매진하고 있다. 챗봇, AI 스피커 등 현재 주류 AI 서비스가 갖는 사용자경험(UX) 상의 한계를 메타버스로 극복할 수 있다는 이유에서다.

이런 메타버스 기반의 대화형 AI 서비스를 솔트룩스는 '메타 휴먼'으로 지칭하고 있다. 김성현 팀장은 이 메타 휴먼 관련 연구와 제품 개발을 관리한다. 솔트룩스가 오랜 시간 공을 들여온 STT, TTS나 이미지 인식, 딥러닝 등의 기술 역량을 활용해 시장에서 필요로 하는 메타휴먼을 하나씩 구현해가고 있다.

메타버스에서 활동하는 AI 기반 아바타에 대해 흔히 '디지털 휴먼', '버츄얼 휴먼' 등의 용어가 쓰이기도 한다. 김성현 팀장은 현재 시장에 출시된 AI 아바타와 솔트룩스 서비스를 구분짓기 위해 '메타 휴먼'이라는 용어를 사용한다고 설명했다.

김 팀장은 "사내에서는 버츄얼 휴먼과 메타휴먼을 나름의 정의를 붙여 분류하고 있다"며 "버츄얼 휴먼은 사람 형상에 단순히 AI 서비스를 붙였을 뿐, 이용자와의 상호작용 기능은 갖추지 못한 아바타로 보는데, 브랜드 홍보 목적의 가상 인플루언서가 여기에 해당한다"고 했다.

이어 "메타 휴먼은 이용자와 진정한 상호작용이 이뤄지는 AI 가상 아바타로 본다"고 덧붙였다.

메타 휴먼 특유의 상호작용을 구현하기 위해 솔트룩스에서 고려한 부분은 이렇다. 이용자 또는 이용자 아바타가 메타 휴먼 앞에서 의사소통을 시도할 때, 음성이나 텍스트 중 하나의 수단에 의존하는 것이 아니라 이용자가 나타내는 모든 반응을 정보로 받아들이는 것이다. 이용자를 인식한 시점에 성별, 세대 등의 속성을 파악하거나, 이용자의 눈동자 움직임이나 몸짓 등을 고려해 기분이나 상태를 파악한 뒤 이런 정보들을 반영해 반응을 도출하는 것을 목표로 한다.

이를 위해서는 고도화된 이미지 인식 기술이 뒷받침돼야 하며, AI가 사전에 입력된 정보만 도출하는 것이 아니라 이용자에게서 나타나는 다양한 정보를 수용하고 활용하는 '멀티모달 상호작용'이 구현돼야 한다는 설명이다. 이런 부분이 메타버스와 접목돼서도 여전히 단방향 형태의 소통을 구사하는 대화형 AI와의 차이점이라고 강조했다.

김 팀장은 "예를 들어 메타버스에 만들어진 영화관 옆에 가상 아바타를 세워두고, 표를 끊어주거나 특정 영화를 추천해주는 서비스도 가능해진다"고 첨언했다.

AI에 따라 다른 인격을 부여하는 기술도 연구하고 있다. 긍정적인 대화 데이터를 학습한 ‘바름이’와 욕을 비롯한 부정적인 데화 데이터를 학습한 ‘다름이’를 개발해 학습한 데이터에 따라 같은 입력값에도 상이한 반응을 내놓는 것을 확인하기도 했다.

이에 대해 김 팀장은 "최근 AI 스피커가 독거노인 , 1인가구 등에 말벗이 돼준 사례들을 보면서, 사람과의 소통을 대체해주는 기능이 앞으로 많이 쓰일 것 같다고 느꼈다"며 "친구 같은 가상 아바타가 말벗뿐만 아니라 날씨도 얘기해주고, 관상도 봐주는 등의 서비스를 제공할 수 있게 되면 시장성이 크지 않겠나"라고 말했다.