6일 지디넷코리아가 개최한 '제 5회 4차산업혁명 대상' 어워드에서 CJ올리브네트웍스가 국회 과학기술정보방송통신위원장상을 수상했다.
CJ올리브네트웍스는 1995년 창립 이후 인공지능(AI), 클라우드, 빅데이터, 블록체인 등 신기술을 접목해 제조, 유통, 물류, 미디어 등 생활문화 기반 IT 서비스를 제공하는 ICT 전문 기업이다. CJ그룹의 디지털 트랜스포메이션과 IT시스템 선진화 및 고도화를 주도하는 동시에 스마트팩토리, 스마트HACCP, 스마트스토어, 데이터바우처, 라이브커머스, 클라우드 메시징 등 대외 사업 진출에도 적극 나서고 있다.
회사는 R&D 조직을 확대해 AI와 블록체인, 빅데이터 분석, 메타버스 등 신기술을 지속적으로 연구·개발하고 있다. 특히 영상, 음악, 이미지 등 미디어 처리 기술을 통한 미디어 콘텐츠 제작 환경 혁신에 주력 중이다.
AI 기반 콘텐츠 지원 기술로, 미디어 환경을 혁신하고 나아가 메타버스 공간을 사람들이 더욱 안전하고 풍요롭게 즐길 수 있도록 지원하는 것을 목표로 삼고 있다.
CJ올리브네트웍스의 AI-코어 연구소와 AI-DT연구소는 고비용 저효율의 컴퓨터그래픽(CG)를 대체하는 미디어 AI 기술을 개발해 콘텐츠 제작 비용과 시간을 획기적으로 줄이고 한층 자연스럽고 사실적인 구현으로 콘텐츠의 품질을 높였다.
개발한 기술들은 크게 ▲페이스 에디팅 ▲페이스 에이징·디에이징 ▲오브젝트 이레이징 ▲스타일 트랜스퍼 ▲버추얼 인플루언서 ▲오디오 세퍼레이션 등이 있다.
페이스 에디팅은 특정인의 얼굴을 타인의 신체와 정교하면서도 자연스럽게 합성하는 AI 기반 솔루션으로 학습 데이터 수집, 데이터 처리, AI모델 학습, 얼굴 교체 과정으로 진행된다. 완성도를 높이기 위해 원본 얼굴과 대상 얼굴을 추출하고 추출된 데이터를 분석 및 시각화해 학습 데이터셋을 구축한다. AI 기술 중 하나인 생성적 적대 신경망(GAN, Generative Adversarial Network) 모델을 기반으로 해당 영상 각 프레임에 교체할 얼굴을 자동으로 생성하고, 합성해 자연스러운 움직임을 구현한다.
페이스 에이징·디에이징은 특정인의 얼굴의 연령대를 변형하는 기술로 데이터 수집·처리, 모델 트레이닝, 얼굴 합성, 후보정 과정으로 진행된다. 영상 형태의 합성 대상 데이터에 젊은 시절의 소스 데이터를 더해 데이터 정제를 진행하며, 최적의 파라미터를 선택하여 최종 모델을 확보한다. 얼굴 합성 과정에서 톤과 위치를 조정하며 비주얼이펙트(VFX)를 통해 미세 보정을 진행한다.
오브젝트 이레이징은 방송 영상 콘텐츠에서 노출 불가한 로고나 인물을 AI가 학습해 삭제하거나 재배치하는 기술이다. 편집 과정에서 영상의 완성도를 높일 수 있으며 계약에 따른 로고 교체나 국가별 타깃 PPL 적용이 가능하다.
스타일 트랜스퍼는 AI 기술을 이용해 영상과 이미지를 다른 스타일로 변환할 수 있다. 원본 영상의 계절을 겨울에서 여름으로 바꾸거나 실사 영상을 애니메이션으로 변환할 수 있다. 반대로 유니티나 언리얼 엔진 등으로 만든 3D 그래픽에 실사의 질감을 추가할 수 있다. 이를 통해 지역이나 계절의 제한없는 제작 환경을 구축할 수 있다.
버추얼 인플루언서는 세상에 존재하지 않는 아바타를 생성하는 기술이다. 기업의 정체성을 포함하는 가상의 인플루언서를 AI 기술을 활용한 실사 기반의 얼굴로 제작해 모델, 쇼호스트 등으로 활용할 수 있다. CJ올리브네트웍스는 가상인간을 만들어 CJ오쇼핑의 쇼호스트, 사내방송 아나운서 등으로 활용할 계획이다.
오디오 세퍼레이션 기술은 여러 소리가 합성된 오디오를 각각 분리해 활용할 수 있게 해준다. 제작 완료된 방송 영상에서 씹는 소리, BGM, 목소리 등 다양한 오디오 소스를 분리하고 합성해 재배포할 수 있다. 계약 및 국가별 트렌드에 맞는 BGM을 적용할 수도 있다.
이같은 미디어 AI 기술들은 실제 CJ 콘텐츠 제작에도 활용되고 있다. 엠넷 예능 'AI 음악 프로젝트 다시 한 번'은 고 터틀맨의 모습을 페이스 에디팅 기술로 재현, 무대 위에서 다른 멤버들과 공연하는 모습을 구현했다.
tvN 드라마 '나빌레라'는 고난이도 발레 장면에 발레리노 대역 안무와 주연 배우의 얼굴을 합성해 정교하면서도 자연스러운 모습을 연출했다.
tvN 예능 '불꽃미남'은 손지창, 차인표 등 90년대 하이틴 스타들의 얼굴에 페이스 디에이징 기술을 적용, 출연자들의 얼굴을 20대 외모로 변경한 모습을 보여줬다.
CJ올리브네트웍스는 미디어 AI 기술을 통해 가상공간 기반 기업간거래(B2B) 디지털 콘텐츠 서비스를 추진할 예정이다. 회사 관계자는 미디어 AI 기술 역량에 대해, "이같은 성과는 미디어 환경뿐 아니라 산업 현장을 비롯한 생활문화 전반에 걸쳐 AI 혁신이 가능하는 것을 의미한다"고 말했다.
