MS, 기계학습 사진복원 솔루션 공개

원작과 비슷한 대조군 도입해 오류 발생 줄여

마이크로소프트(MS)가 훼손된 오래된 사진을 복원하는 새로운 딥러닝 알고리즘을 최근 공식 블로그를 통해 공개했다.

'텍스쳐 트랜스포머 네트워크 포 이미지 슈퍼 레졸루션(TTSR)'이라는 이 알고리즘은 실제 사진과 기존에 복원 작업을 거친 이미지 세트를 활용한 삼중항 도메인 트랜스포머 네트워크를 도입한 것이 특징이다.

마이크로소프트의 새로운 AI 이미지 복원 솔루션(이미지=마이크로소프트 블로그)

복구를 원하는 이미지와 유사한 고해상도 복원 이미지 쌍을 참조해 복원하는 방식으로 시간이 오래 지나 변조된 색이나 해상도가 낮아 알아보기 어려운 패턴 등도 복구가 가능하다.

마이크로소프트는 해상도 높일 때 픽셀이 뭉개지거나 색이나 형태가 비슷하지만 전혀 다른 이미지와 합성해 적합하지 않은 결과가 발생하는 일명 컴퓨터 환각(Computer Hallucinations) 현상을 최소화 할 수 있다고 설명했다.

또한 얼굴 등 복원 과정에서 특히 중요한 부분은 이미지에서 분리해 별도로 학습 시켜 정확도를 높였다.

마이크로소프트는 원본과 유사한 고해상도 이미지를 찾는 기술에도 기계학습을 적용했다. 트랜스포머 모델을 활용해 이미지 중 일부 텍스쳐가 유사한 것이 아니라 전체 이미지가 비슷한 사진을 찾을 수 있는 방식을 도입했다.

트랜스포머 모델은 자연어 처리에서 주로 사용하는 방식으로 대표적으로 구글의 자연어처리 모델인 버트가 있다.

수치적인 비교가 어려운 특성을 반영해 다른 복원 솔루션과 복원 결과에 대해 사용자 투표를 진행한 결과 90% 이상이 TTSR의 손을 들어줬다고 마이크로소프트는 설명했다.

마이크로소프트는 새로운 이미지 복원 기술을 활용해 사진 외에 흑백 비디오 영상에 색을 적용하는 연구도 진행 중이라고 밝혔다.