NHN엔터, AI 이미지 편집 앱 '픽싯' 기술 공유

지정 영역에 원하는 물체 삽입·삭제 가능

포토샵을 잘 다루지 못하는 사용자가 온라인 커뮤니티 내 포토샵 능력자에게 사진을 수정해달라고 요청하는 경우가 왕왕 있다.

가령 “제 옆에 있는 나무 좀 치워주세요”, “더 어려 보이게 만들어주세요”, “태양 빛을 더 강렬하게 만들어주세요”라고 말하며 사진을 보낸다. 이에 장난기가 발동한 포토샵 장인들은 나무를 뽑다 못해 땅을 파버리거나 아기 얼굴로 대체하기도 하고, 태양 불바다로 만들어버린다.

누군가에게 사진 편집을 요청하지 않고 사용자가 직접 쉽게 해결할 수 있는 방법은 없을까. NHN엔터테인먼트는 사용자 스스로 사진 속 물체를 지우거나 물체의 색상을 바꾸는 작업을 할 수 있는 앱을 개발 중이다.

NHN엔터테인먼트 머신러닝 랩 소속 강민석 개발자는 19일 서울 삼성동 그랜드인터컨티넨탈 서울 파르나스에서 열린 ‘NHN 포워드’ 기술 컨퍼런스에서 머신러닝 랩의 카메라 앱 개발 성과에 대해 소개했다. NHN 포워드는 NHN엔터가 개최한 첫 개발자 행사이기도 하다.

NHN 포워드-딥러닝을 이용한 카메라 앱 개발 세션

강 개발자 발표에 따르면 머신러닝 랩은 올해 사진을 명화처럼 만드는 앱 ‘픽싯(Pixit)-아트 페인팅'과 사진 속 사람의 머리카락 색을 바꿀 수 있는 앱 '픽싯-헤어 다잉(Hair Dyeing)’를 안드로이드 용으로 출시했다. 사진 속 물체를 지울 수 있는 ‘픽싯-러버 라이크(Rubber Like)’는 앱 출시 일정을 조율 중이고, 현재는 회사 내부 프로토타입으로만 존재한다. 각 앱은 개별적으로 출시했다.

이들 사진 편집 기능들엔 다양한 머신러닝 기술이 적용됐다.

먼저 아트 페인팅 기능에 사용된 머신러닝 기술은 ‘뉴럴 패치 스왑(Neural Patch Swap)’ 기법이다. 두 개의 입력 사진을 인코더 네트워크를 통해 이미지 특징을 추출한 다음 뉴럴 패치 스왑을 적용한 후 이미지를 재구성, 디코너 네트워크에 통과시키면 원하는 스타일이 반영된 이미지를 얻을 수 있다.

이 기술을 이용하면 오래된 느낌의 벽화에 인물 사진을 붙여 그림에 동화시킬 수 있다. 또 모네의 유화 작품 위에 건물들을 올려놓으면 건물이 모네 그림 느낌으로 변환돼 들어간다.

헤어 페인팅 기능은 촬영된 사진 속 인물의 머리 색을 바꿔주는 기능이다. 이 기능에는 원하는 영역의 색상을 변경할 수 있는 ‘간(GAN)' 기술이 사용됐다. 배경과 이질감 없도록 정교화하는 기술인 ’디스크리미네이터(Discriminator) 네트워크‘ 기술도 적용됐다.

현재 헤어 페인팅 기능을 통해 변환 가능한 머리카락 색상은 금발, 갈색, 와인색, 빨간색, 주황색, 파란색 등이다.

러버 라이크 기능을 이용하면 사용자가 지정한 영역에 원하는 물체를 삽입하거나 삭제하는 게 가능하다. 해당 기능에 사용된 ‘콜스(Coarse) 네트워크’는 비워진 이미지를 배경 이미지 값을 기반으로 채우는 기술이다. 여기서 얻어진 이미지를 ‘리파인먼트(Refinement) 네트워크’에 통과시키면 전 단계에서보다 선명한 이미지를 구현할 수 있다. 이들 기술을 이용하면 사진 속 물체를 지우거나 삽입하는 게 가능하다.

강 개발자는 “머신러닝 랩에서는 여러 기능을 만드는 실험을 하고 성능을 개선해 모듈과 프로토타입을 만든다”며 “이러한 과정을 통해 사용자들에게 재미를 주고 개성을 표현할 수 있는 앱을 만들고자 한다”고 말했다.