삼성, 사진 한장으로 동영상 만드는 AI 개발

사진 여러장 학습→움직임 패턴 추출…실물동작 생성

삼성전자가 딥러닝 기술로 사진에서 동영상을 만들어내는 인공지능(AI) 시스템을 공개했다. 이 기술로 레오나르도 다빈치의 명작 '모나리자'가 살아있는 듯 움직이게 됐다.

23일(현지시간) 미국 씨넷에 따르면, 삼성전자 러시사 모스크바 AI연구센터는 최근 얼굴 이미지 사진을 '동영상'으로 변환하는 AI 기술 논문을 수학물리학 논문 초고 사이트(arxiv.net)에 게재했다.

이미지를 동영상으로 변환하는 AI 기술은 딥페이크(deepfake)로 불린다. 딥러닝 알고리즘을 이용해 여러 장의 사진을 학습하고, 동영상을 만들어낸다.

삼성전자 AI연구센터의 딥페이크 시스템이 만든 '모나리자' 동영상(사진: 이고르 자카로프 유튜브)

딥페이크 영상을 만들려면 동일인의 사진 여러장이 필요하다. 반면, 삼성전자가 개발한 기술은 사진 한 장으로 동영상을 만들 수 있다. 얼굴 사진에서 윤곽을 잡아내 표정을 만들어낸다.

삼성의 한 연구원은 마릴린 먼로 사진과 레오나르도 다빈치의 '모나리자'를 영상으로 변환한 가상 인터뷰 영상을 유튜브에 공개했다. AI가 그림 속 모나리자의 얼굴을 인식하고, 말을 하거나 다양한 표정을 짓도록 만들었다.

삼성 러시아 AI연구센터의 딥페이크 AI는 여러장의 사진을 학습하면서 공통된 움직임 패턴을 찾아낸다. 동영상 변환 결과물이 실제와 얼마나 유사한지 점수를 매기고, 변환을 반복하며 실물의 동작에 근접하도록 개선해간다. 이렇게 완성된 AI는 한장의 이미지만 갖고도 동영상을 만들 수 있게 됐다.

삼성전자 AI연구센터의 딥페이크 시스템이 만든 '마릴린 먼로' 동영상(사진: 이고르 자카로프 유튜브)

삼성의 기술도 완벽한 건 아니다. 공개된 유튜브 영상 속 마릴린 먼로의 움직이는 얼굴엔 그의 상징인 점이 빠져있다.

이 기술은 비디오 게임, 영화, TV 등 다양한 영역에서 활용될 수 있다. 논문 저자들은 "화상회의, 멀티플레이어 게임 같은 산업에서 실질적인 효과를 낼 수 있다"고 적었다.