클레온, 암 환자 ‘디지털 트윈’ 생성..."가족도 감동”

SBS 스페셜서 소개... 사진 1장, 30초 음성 데이터로 인물 생성

AI 딥러닝 영상·음성 생성 기술을 보유한 클레온이 지난 15일 'SBS 스페셜 불멸의 시대'에서 디지털 트윈 기술을 선보여 시청자들에게 감동을 안겼다. 디지털 트윈이란 현실세계의 기계나 장비, 사물 등을 컴퓨터 속 가상세계에 구현한 것을 가리킨다.

이번 스페셜 방송 '불멸의 시대'에서는 과학 기술로 인해 인류가 영원히 존재할 수 있는 방법에 대해 탐구하며 여러 사례들을 소개했다. 클레온은 얼굴 사진과 목소리 데이터 그리고 기타 데이터를 넣어 디지털 속에서 영원히 살 수 있는 디지털 트윈을 제작해 췌장암 4기 진단을 받은 김세창 씨를 복제했다.

사연의 주인공 김세창 씨는 34세의 나이로 전 헬스 트레이너를 할 만큼 누구보다 건강에 자신있었지만, 작년 12월 췌장암 4기라는 진단을 받았다. 건강하던 그가 6개월 만에 15kg가 빠지자 매일 죽음에 관련된 생각을 떨칠 수 없었고, 진정 원하고 바라는 건 치료제의 개발이지만 당장 그는 그가 할 수 있는 '디지털 트윈'을 만들기로 다짐했다.

'SBS 스페셜 불멸의 시대' 트윈 프로젝트에서 공개된 김세창 씨의 디지털 트윈(사진제공=SBS)

디지털 트윈 프로젝트에는 클레온을 포함한 3개의 기업이 모여 개발을 진행 중이다. 클레온은 정면 사진 1장과 30초의 음성 데이터만으로 새로운 인물을 생성할 수 있는 '딥휴먼' 기술을 제공했다.

회사에 따르면 AI 딥러닝 영상-음성 생성 및 합성 기술을 보유한 딥러닝 모델은 실제 사람과 같다. 화가가 사람의 얼굴을 그릴 때 오천 번에서 만 번 정도 수많은 사람의 얼굴을 그리다 보면 얼굴 정면 사진 한 장만 봐도 '아 이 사람의 옆모습이 어떻게 생겼겠구나'를 예상하고 그림을 그릴 수 있는 것처럼 수천, 수만 명의 얼굴을 학습한 AI도 숙련된 화가처럼 정면 사진 단 한 장만 봐도 그 사람의 얼굴을 입체적으로 그려낼 수 있다.

음성 합성 기술 역시 타사에 비해 적은 데이터로 원하는 음성을 만들 수 있다. 인공지능에게 목소리를 단 30초만 입력하면 순식간에 100단계까지 학습을 완료한다. 단 2단계만 학습해도 음과 음색이 잡히며, 100단계를 학습하면 숨소리를 포함해서 어투까지 자연스럽게 업데이트될 수 있다. 이 과정은 약 10분 정도 밖에 걸리지 않는다.

클레온

클레온의 기술이 들어간 디지털 트윈의 제작이 끝나고 김세창 씨에게 그의 디지털 트윈을 공개했다. 자신을 닮은 디지털 트윈에게 그가 “안녕”이라며 말을 걸자, “안녕 세창아?”라며 답이 왔다. 그러자 김세창 씨는 자신의 목소리와 똑같다며 놀랐다. 김세창 씨의 반응을 들은 디지털 트윈은 “그럼 당연하지. 이게 다 너에 대해 학습을 많이 해서 그런 거야”라고 답했다.

이어 그는 “김세창은 어떤 사람이야?”, “내 친구들은?” 등 개인적인 질문을 했고 그에 답변하는 디지털 트윈을 보며 “와 진짜 신기하다”며 감탄을 자아냈다.

그 시간 집에서는 김세창 씨의 어머니가 세창 씨의 디지털 트윈을 만났다. 어머니는 세창 씨에게 컨디션을 물어보며 힘내서 기적을 만들어 보자고 말하며 환한 웃음을 보였다. 어머니는 시연 후 “엄마 안녕”이라고 하는 모습이 완전 똑같다며 보는 순간 좀 웃기고 어색하긴 해도 “아 우리 아들 맞구나”라며 아무 때나 보고 싶을 때 볼 수 있는 게 좋은 것 같다고 말했다.

클레온은 향후 디지털 트윈을 확장시켜 누구든 자신만의 버추얼 아바타를 만들어 대화할 수 있는 'KLone' 프로젝트를 진행 중에 있다. KLone은 향후 상담, 통화, FNS 영역 등 다양한 영역에 적용될 수 있을 것으로 전망된다.