눈동자 자세히 보면 딥페이크 가려낼 수 있다

눈동자에 반사되는 빛을 통해 특정 인물의 얼굴과 음성을 합성해 만든 가짜 영상물 ‘딥페이크’를 가려낼 수 있다는 연구결과가 발표됐다고 미국 IT매체 씨넷이 최근 보도했다.

사진=픽사베이

미국 뉴욕주립대학 연구진들은 최근 딥페이크 이미지를 가려낼 수 있는 새로운 방법을 공개했다. 연구진이 개발한 것은 눈동자의 반사된 이미지가 일관성이 있는지 확인하는 방법이다.

카메라로 촬영한 실제 사람 얼굴에서 두 눈동자에 비친 반사 이미지는 두 눈이 같은 것을 보고 있기 때문에 거의 비슷하다. 실제 얼굴을 촬영한 사진은 양쪽 눈동자에서 동일한 빛 반사를 보였지만, AI로 합성된 딥페이크 이미지에서 눈동자에 비친 빛 이미지는 모양과 색에서 일관성이 없다.

왼쪽 사진의 눈동자는 동일한 반사를 보여주지만 오른쪽 가짜 사진의 눈은 반사된 이미지 형태가 다르다. (사진=미국 뉴욕주립대 버팔로 캠퍼스)

연구진은 이 점에 착안해 영상 속 얼굴 눈동자에서 반사되는 빛을 비교해 가짜 영상을 가려내는 툴을 개발했다. 개발된 툴로 초상화 스타일의 사진을 테스트한 결과 정확도 94%로 가짜 영상을 가려냈다고 연구진들은 설명했다.

주로 사람의 얼굴을 합성하는 데는 '적대적 생성 신경망(GAN·Generative Adversary Network)'이 사용된다. GAN이 합성해 만든 가짜 얼굴은 소설미디어 프로필에 사용되기도 한다. 과학자들은 "GAN으로 합성된 얼굴은 두 눈의 각막에서 일관성 없는 반사 빛이 노출될 수 있다"고 밝혔다.