[GDC23] 온마인드 "AI 발전이 가상인간을 더욱 사람답게 만들 것"

지난 20일(현지시간)부터 미국 샌프란시스코에서 진행 중인 GDC 2023 유니티 부스에 한국의 가상인간 Y와 T.K가 자리했다.

유니티의 디지털 휴먼 2.0 패키지를 이용해 개발된 이 두 가상인간은 지난 2021년 처음 공개된 가상인간 수아의 뒤를 잇는 존재다.

이번 GDC 2023 기간에 한층 더 사실적인 표정과 피부 질감, 머리카락 표현 등으로 더욱 실제 사람과 흡사한 모습을 보이는 이들 가상인간을 개발한 온마인드의 김형일 대표와 유니티코리아 김범주 본부장을 GDC가 진행 중인 모스콘 센터 인근에 자리한 유니티 본사에서 만나볼 수 있었다.

김형일 대표는 자사 가상인간을 GDC 2023에 선보인 소감에 대해 "스타트업으로 설립된지 얼마되지 않은 상황에서 CES에 이어 GDC도 참여하며 글로벌 기업으로 나아갈 수 있는 기회가 되지 않았나 영광스럽게 생각한다. 이번 기회를 통해 회사가 좀 더 글로벌에서 인정받는 기회가 되기를 바란다"라고 말했다.

김범주 본부장 역시 "한국에 있는 우수한 기술 콘텐츠기업을 글로버 시장에 소개를 해서 많은 기회를 가져갈 수 있도록 노력하고 있다. 그 첫 사례로 온마인드와 협업이 GDC 세션 발표로 이어진 것 같아서 뜻 깊게 생각한다"라고 답했다.

김형일 대표는 GDC 2023에 선보인 Y와 T.K에 대해 얼굴에 혈류가 늘어나고 줄어듬을 측정하는 텐션맵을 통해 주름과 혈류를 표현할 수 있게 됐다고 말했다.

이어서 "모든 가상인간을 제작하는데 가장 어려운 것이 머리카락, 털 표현이다. 기본적으로 수만 가닥이 존재하는데다가 굉장히 얇기에 이를 렌더링하는 것도 어렵다. 이 모든 것을 유니티 디지털 휴먼 2.0 패키지에 포함된 유니티 헤어로 해결할 수 있었다"라고 말했다.

또한 유니티의 머신러닝 기반 표정 생성 솔루션을 이용해 다양한 표정을 구현했다는 설명도 이어졌다. 해다 기능은 하나하나 만들어야하는 표정을 몇 시간만에 고품질로 생성하는 기능이다.

가상인간의 완성도가 어느 수준에 달한 것 같냐는 질문에는 시각적인 면에서는 한계까지 도달했다고 평가했다.

김 대표는 "보이는 모습으로는 한계까지 왔다고 생각을 한다. 가상인간 메이킹 영상에 일부러 사진 두장을 올려둔 이유도 실제 인간과 가상인간을 비교하도록 하기 위함이었다. 다만 가상인간이 더욱 사람다워지기 위해서는 움직이고 말을 해야 한다"라고 말했다.

이어서 "이를 위해서는 표정과 움직임, 정교한 모션캡처가 필요하다. 여기에 감정표현까지 더해진다면 우리가 생각하는 사람과 흡사한 캐릭터가 등장할 것이라 생각한다"라고 말했다.

또한 AI의 급격한 발전이 가상인간 개발에 속도를 붙일 것이라고 전망하기도 했다.

가상인간에 현실감을 더할 요소로는 음성을 통한 감정 표현도 거론된다. 유니티는 이를 위한 연구가 이미 유니티 엔진을 통해 진행 중이라고 말했다.

김범주 본부장은 "음성 API를 연동할 수 있는 시스템이 유니티 엔진 안에 갖춰져있다. 또한 챗GPT를 유니티 엔진에서 활용해 게임 내 NPC와 이용자가 대화를 할 수 있는 튜토리얼을 개발하는 사례도 있다"라고 설명했다.

가상인간의 품질이 높아지면서 이를 활용한 광고나 콘텐츠가 공개되는 사례도 늘어나고 있다. 하지만 아직까지는 이미 완성된 동작을 수십 초에서 수 분 가량 보여주는 선에 그치고 있는 것도 사실이다.

김형일 대표는 이런 한계를 넘어 가상인간으로 더 다양한 것을 보여줄 수 있을 것이라고 자신했다.

김 대표는 "최종적으로 그리고 있던 것은 가상인간으로 라이브 콘서트를 여는 것이었다. 다만 이를 위해서는 넘어야 할 산이 굉장히 많았다. 모션캡처 장비와 이를 둘 수 있는 큰 공간도 필요했으며 난이도가 높은 손가락 캡처를 할 수 있는 장비도 필요했다"라고 말했다.

이어서 "이를 갖추는 데 오랜 시간이 걸리기는 했지만 올해 안에는 제대로 된 라이브 콘서트 콘텐츠를 선보이지 않을까 생각하고 있다. 그때가 돼야 짜여져 있는 단방향 영상이 아닌 양방향 콘텐츠가 될 수 있는 콘텐츠가 나오지 않을까 생각한다"라고 부연했다.

두 사람은 유니티 엔진으로 개발한 가상인간의 미래를 긍정적으로 전망했다.

김범주 본부장은 유니티가 더욱 사실적인 가상인간 개발을 돕기 위한 지원을 이어나가고 있다고 이야기 했다. 가상인간을 현실처럼 인식하기 위해서는 가상인간 자체만이 아니라 그 배경이 되는 환경까지도 사실적으로 만드는게 중요하다며 이에 대한 신기술을 간략하게 소개하기도 했다.

김 본부장은 "반사광을 사실적으로 처리하는 기술인 실시간 레이트레이싱 기술이 안정화되고 성능도 높아지고 있어서 가상인간의 얼굴과 어울리는 사실적인 배경을 만드는데 활용될 수 있다. 또한 최근 인수한 식물 모델링 툴킷 기업 스피드트리의 기술 역시 자연물을 더욱 사실적으로 만드는데 큰 도움이 될 것이다"라고 말했다.

두 인물은 가상인간의 미래 가능성을 무척 긍정적으로 평가했다. 특히 AI와 가상인간이 연계되면 그 시너지 효과가 대단할 것이라고 전망해 눈길을 끌었다.