中 센스타임 "인물 사진으로 영상 생성...표정도 제어"

인물 영상 생성 모델 '비미' 발표

중국 인공지능(AI) 기업 센스타임이 인물 사진을 영상으로 바꿔주는 기술을 내놓고 영상 속 표정 제어도 가능하다고 전했다.

4일 중국 언론 IT즈자에 따르면 중국 센스타임은 세계인공지능컨퍼런스(WAIC)에서 '제어 가능한' 인물 영상을 생성해주는 초거대 모델 '비미(Vimi)'를 발표했다.

임의의 한 장 사진으로 목표 동작과 일치하는 인물 영상을 생성할 수 있는 기술로서, 인물 영상, 애니메이션, 목소리, 텍스트 등 여러 요소를 구현할 수 있다.

기존에 나온 인물 사진 영상화 기술과 차이점은, 인물의 정밀한 표정 제어가 가능하다는 점이다. 반신 영역 내에서 사진 속 인물의 자연스러운 피부 변화를 가능하게 하고, 인물에 어울리는 헤어 스타일과 의상을 자동으로 생성하면서 배경도 자동으로 생성한다.

센스타임이 공개한 비미의 영상 생성. 왼쪽이 사진, 오른쪽이 영상. (사진=IT즈자)

센스타임이 공개한 비미의 1분 짜리 생성 영상 제어 (사진=IT즈자)

비미에 따르면 1분 짜리 단일 렌즈 인물 영상을 안정적으로 생성할 수 있으며, 시간이 지나도 영상 효과가 저하되거나 왜곡되지 않아 엔터테인먼트 등에서 요구되는 장시간 영상 생성 수요를 충족한다고 소개됐다.

비미는 일반 사용자에게 공개될 전망이다. 사용자가 다양한 각도에서 고화질 사진을 업로드하면, 여러 가지 유형의 디지털 아바타와 영상이 자동으로 생성된다.

얼굴의 변화뿐 아니라 손집, 피부, 헤어 스타일의 매칭, 그리고 보다 완성되고 일관된 동작을 형성하면서, 창작자가 생성된 영상의 각 요소에 대한 편집과 재창작이 가능하다.