인공지능이 생방송 출연자 '페이스오프'

최신 알고리즘 '사이클겐' 활용 사례 나와

크리에이터가 방송 중인 화면에서 얼굴만 실시간으로 바꿔치기 할 수 있다면?

최신 딥러닝 기술로 주목받고 있는 '사이클겐(CycleGAN)'을 활용해 이 같은 테스트를 진행해 본 결과가 유튜브에 공개됐다.

사전에 라벨링된 데이터 없이도 비지도 학습을 통해 최대한 원본과 비슷한 콘텐트를 만들어내는 딥러닝 알고리즘 'GAN'을 고안한 구글 브레인 이언 굿펠로우 책임 연구원은 자신의 트위터에 이 같은 실험을 한 유튜버 'TJWei'의 동영상을 공유했다.

이 영상은 '사이클겐(CycleGAN)'을 활용해 일명 '페이스오프(Face-off)'를 시도했다.

영상 속에서는 언뜻 보기에도 너무나 다르게 생긴 남녀 크리에이터가 등장한다. 남자가 얼굴을 움직이면서 말을 하거나 손동작을 하는 모습이 왼쪽에 등장하고 오른쪽에는 사이클겐을 통해 이러한 영상 데이터를 여자 크리에이터의 모습으로 변환한 결과가 나온다.

맨 위는 실제 동영상 속 크리에이터의 모습이다. 가운데는 사이클겐 알고리즘을 활용해 얼굴을 바꿔치기한 결과, 그 아래는 바꿔치기한 얼굴에서 다시 본래 얼굴 이미지로 변환한 모습. 자세히 보면 맨 위와 가장 아래 이미지가 비슷하지만 미세하게 차이가 난다는 점을 확인할 수 있다.(자료=깃허브)

반대로 여자가 말하는 모습도 남자 크리에이터의 모습으로 변환시키기도 한다.

얼굴을 바꿔 치기한 영상은 아직 완벽하게 자연스럽지는 않지만 여기에 등장하는 크리에이터들의 얼굴 특징을 비교적 잘 묘사해낸다. TJWei의 시도에 대해 보다 상세한 내역은 그의 깃허브 웹페이지(https://github.com/tjwei/GANotebooks)에서 확인하면 된다.

사이클겐은 GAN의 한 방법으로 일일이 학습에 필요한 한 쌍의 데이터를 주지 않고도 하나의 이미지가 가진 특징을 다른 이미지에 전달시키는 방법을 학습하는 딥러닝 알고리즘이다.

사이클겐을 활용해 여러 이미지를 변형시킨 결과. (자료=깃허브)

미국 UC버클리대 연구팀이 고안한 이 알고리즘은 말을 얼룩말처럼 만들거나 반대로 얼룩말을 말과 같은 이미지로 변환시킨다. 모네, 반 고흐 등 유명 화가의 화풍을 이미지에 대입시키는 것은 물론 같은 풍경 이미지에 대해 서로 다른 계절로 표현해내는 일도 가능하다.(☞깃허브 링크)