"음성 감정까지 살린다"…일레븐랩스, '더빙 v2' 출시

'오디오-투-오디오' 적용…원본 감정·뉘앙스 재현 강화

일레븐랩스가 원본 음성 감정과 퍼포먼스를 살리는 인공지능(AI) 더빙 기술을 내놨다.

일레븐랩스는 지난 6일 새로운 AI 더빙 모델 '더빙 v2'를 '일레븐 API'로 공개했다고 10일 밝혔다. 올해 5월 사용자 인터페이스(UI) 버전으로 먼저 선보인 모델을 API로 확장해 개발자와 기업이 제품과 업무 흐름에 직접 연동할 수 있도록 했다.

더빙 v2는 음성을 음성으로 직접 변환하는 '오디오-투-오디오' 구조를 채택했다. 기존처럼 음성을 인식한 뒤 번역하고 합성 음성을 생성하는 단계를 거치는 대신 입력 보이스으로만 출력 음성을 바로 생성해 원본 감정과 뉘앙스를 반영하는 식이다.

일레븐랩스가 원본 음성 감정과 퍼포먼스를 살리는 인공지능(AI) 더빙 기술을 내놨다. (사진=일레븐랩스)

이 기술은 화자 목소리를 복제해 다른 언어로 변환할 수도 있다. 발화 타이밍이 영상과 자연스럽게 맞도록 설계됐다. 한국어와 일본어를 포함해 전 세계 92개 언어를 지원한다. 영상 속 입 모양을 음성에 맞춰 바꾸는 AI 립싱크 기능은 포함되지 않았다.

일레븐랩스는 영상 크리에이터와 게임 스튜디오 캐릭터 대사·컷신 현지화와 소비재·여행·숙박 기업의 다국어 마케팅 영상 제작 등에 더빙 v2를 활용할 수 있을 것으로 보고 있다. 스트리밍·미디어 기업의 영화와 드라마 등 장편 콘텐츠를 여러 지역에 공급하는 과정에도 적용할 수 있다.

회사는 기존 영화와 TV 수준의 더빙 작업에 분당 수백달러 규모의 비용이 들 수 있다는 점을 고려해 고품질 더빙 이용 문턱을 낮추는 것을 목표로 삼았다. 라이브 스트리밍 영상 등을 실시간으로 여러 언어로 더빙하는 기능은 이번 출시 범위에서 제외됐다.

일레븐랩스는 "한국 기업은 더빙 v2를 통해 완성도 높은 다국어 더빙을 활용할 수 있다"며 "해외 유수 콘텐츠의 한국어 더빙 활용에서도 기대된다"고 밝혔다.