'인물 사진 한 장→춤추는 영상' 바꾸는 기술 나왔다

中 바이트댄스, 허깅페이스에 공개...싱가포르 국립대학과 공동 개발

인터넷입력 :2023/12/08 07:48    수정: 2023/12/08 07:52

중국 틱톡의 모기업인 바이트댄스가 이미지 한 장으로 댄스 영상을 만들어 내는 인공지능(AI) 기술을 개발했다.

7일 중국 언론 량쯔웨이에 따르면 중국 바이트댄스와 싱가포르 국립대학이 공동으로 '매직애니메이트'를 발표했다. 매직애니메이트는 '인체 이미지 애니메이션 생성기'다. 한 장의 인물 사진만 있으면 동작을 결합해 댄스 영상을 생성시킨다.

사용자가 한 장의 사진(reference image), 그리고 한 셋트 동작(dense pose sequence)을 입력하면 AI가 실제 사람이 공연하는 것처럼 사실적 효과를 갖춘 댄스 영상을 생성할 수 있다.

옆 모습, 앞 모습 등 포즈에 관계없이 원본 이미지 한 장 만으로 스타일, 동작, 표현을 모사한 역동적인 인물 영상이 생성된다는 점이 핵심이다.

 

왼쪽이 사진, 오른쪽이 영상이다. (사진=량쯔웨이)
왼쪽이 사진, 오른쪽이 영상이다. (사진=량쯔웨이)

량쯔웨이는 "더우인(중국판 틱톡)에서 실제 사람이 카메라 앞에 나설 필요없이 사진 만으로 고품질 영상을 생성할 수 있다"고 묘사했다.

기술이 화제를 일으키자 인공지능 평가 웹사이트 허깅페이스 줄리앙쇼몽 CTO도 이 매직애니메이트를 체험하고 만들어진 운동하는 영상을 트위터에 게시해 관심을 끌었다.

이 기술은 이미 허깅페이스에서 온라인 체험이 가능하도록 공개돼있다. 사진을 올리고, 생성하고 싶은 동작 데모 영상을 올리면, 바로 영상이 생성된다.

관련기사

량쯔웨이는 바이트댄스뿐 아니라 최근 알리바바 역시 사진만 넣으면 원하는 동작으로 만들어주는 '애니메이트 애니(Animate Anyone)' 프로젝트를 발표했다고 부연했다.

이에 알리바바와 바이트댄스의 경쟁이 시작됐다는 분석도 나왔다.