CJ올리브네트웍스, AI로 무용극 '밤의 여왕' 배우 구현

CJ올리브네트웍스(대표 차인혁)가 이경옥 무용단의 무용극 ‘밤의 여왕’ 제작에 버추얼 휴먼 생성 기술인 인공지능(AI) 보이스 클로닝과 립 제너레이션 기술을 제공했다고 11일 밝혔다.

오는 13일까지 서강대학교 메리홀에서 열리는 밤의 여왕은 오페라 마술피리를 모티브로 한 작품으로, 현대미술가 마리킴의 미디어아트와 결합해 새로운 볼거리를 제공한다.

CJ올리브네트웍스는 밤의 여왕의 주인공으로 등장하는 미디어아트 캐릭터에 AI 보이스 클로닝 기술과 립 제너레이션 기술을 적용해 연기하는 AI 배우를 구현했다.

CJ올리브네트웍스 연구원이 현대미술가 마리킴의 미디어아트 캐릭터에 립 제너레이션 기술을 적용해 입모양을 바꾸는 모습(이미지=CJ올리브네트웍스)

AI 보이스 클로닝 기술은 AI 알고리즘으로 개인의 음성을 분석해 당사자가 직접 발화한듯 자연스러운 목소리를 자동으로 생성하는 음성합성 기술이다. 개인의 음성을 학습시킨 뒤 발화를 원하는 텍스트를 입력하면 원하는 목소리로 텍스트를 읽어주는 음성을 만들 수 있다.

립 제너레이션 기술은 오디오와 영상 속 인물의 입술 발화를 맞추는 AI 기반의 립싱크 기술이다. 인물의 영상 또는 이미지와 오디오를 입력하면 오디오 싱크에 맞춰 말하는 듯한 입술의 영상을 생성한다.

CJ올리브네트웍스는 이번 공연의 AI의 목소리 학습을 위해 배우 손숙과 함께 작업했다. 손숙의 목소리를 학습한 AI는 밤의 여왕의 주인공이자 복수의 화신인 여왕 캐릭터를 연기하며, 마치 배우 손숙이 현장에서 직접 연기하는 것과 같은 효과를 연출했다.

AI 보이스 클로닝 기술로 구현된 목소리는 단순히 발화만 하는 것이 아니라, 실제 배우의 감정이 담긴 연기 어조를 학습함으로써 관람객들은 공연을 더욱 실감나게 감상할 수 있다.

CJ올리브네트웍스 버추얼 휴먼 랩 관계자는 “그간 연구·개발해 온 AI기술을 드라마·예능 등 방송 콘텐츠를 넘어 예술 무대에 적용해 현장의 관람객들에게 선보일 수 있다는 점이 의미가 있다”며 “계속해서 다양한 예술 분야와 협업하여 기존 예술 무대를 더욱 풍성하고 다채롭게 만들어줄 수 있는 기술을 선보일 것”이라고 말했다.