CJ올리브네트웍스, 드라마 ‘나빌레라’ AI기반 얼굴합성 기술 적용

CJ올리브네트웍스(대표 차인혁)가 드라마 ‘나빌레라’의 발레 장면에 인공지능(AI)기반의 얼굴 합성 기술을 적용했다고 11일 밝혔다.

지난달 종영한 tvN월화드라마 나빌레라는 나이 일흔에 발레를 시작한 덕출(박인환)과 스물셋 꿈 앞에서 방황하는 발레리노 채록(송강)의 성장 스토리리를 다룬다. 페이스 에디팅 기술(Face Editing)을 드라마에 적용한 국내 첫 사례다.

CJ올리브네트웍스는 스튜디오드래곤, CJ ENM과의 협업을 통해 발레 장면에 발레리노 대역 안무와 주연 배우의 얼굴을 합성하여, 정교하면서도 자연스러운 모습을 연출했다.

tvN 월화드라마 ‘나빌레라’ 주요 장면(이미지=CJ올리브네트웍스)

CJ올리브네트웍스의 페이스 에디팅은 AI를 기반으로 기술을 구현하여 ▲학습 데이터 수집 ▲데이터 처리 ▲모델 학습(GAN) ▲얼굴 교체 과정으로 진행됐다.

CJ올리브네트웍스 AI-코어 연구소는 작품의 완성도를 높이기 위하여 원본 얼굴과 대상 얼굴을 추출하고 추출된 데이터를 분석 및 시각화하여 최적의 학습 데이터셋을 구축했다.

또한 AI기술 중 하나인 GAN 기술(생성적 적대 신경망 GAN)을 사용하여 해당 영상의 각 프레임에 교체할 얼굴을합성했다. 특히 주인공들의 이목구비뿐 아니라 머리의 전체적인 구조와 목부분까지도 자연스럽게 합성해 생동감있는 고난도 발레 장면을 만들었다.

CJ올리브네트웍스 AI-코어 손종수 연구소장은 “자체 개발한 얼굴 합성 최적화 기술을 고도화 하는 등 AI기반의 페이스 에디팅 기술을 통해 휴머니즘과 감동을 지속적으로 제공하고 미디어 산업 발전에도 기여할 예정”이라며 ”사회적으로도 해당 기술이 악용되는 일이 없도록 블록체인 등의 인증 기술을 사용하여 보완 장치를 마련하겠다”고 말했다.