AI, 흐릿한 사진도 선명하게 만든다

미국 인기 드라마 CSI에선 CCTV에 흐릿하게 찍힌 용의자 얼굴도 ‘선명화’ 작업을 통해 곧잘 알아낸다. 제아무리 흐릿한 영상이라도 CSI 수사관 손에 들어오기만 하면 '결정적 증거'로 탈바꿈한다.

하지만 현실은 그렇지 않다. 영상을 확대해 용의자의 얼굴을 선명하게 처리할 수 있는 기술은 영화나 드라마속에서나 통하는 얘기다. CSI 수사관들도 현실에 발을 딛는 순간 기술적 한계를 절감하지 않을 수 없다.

그런데 글로벌 IT기업 구글이 영화 속에서나 볼 수 있는 첨단 이미지 식별 기술을 현실화하고 있어 주목된다. 소프트웨어(SW)가 저해상도 이미지를 보고 추론해 고해상도 이미지로 보완하는 기술이다.

SW가 만든 결과물이 상당히 구체적이고 실제와 유사한면이 많아 놀라움을 자아내고 있다.

7일(현지시간) 아스테크니카 등 IT전문 외신들은 구글의 인공지능(AI) 기술 연구 조직 구글브레인이 딥러닝 기술을 통해 저화소 이미지를 보다 선명하게 보완해주는 기술을 개발하고 있다고 보도했다.

이런 소식은 구글브레인이 출판전 논문공개 사이트인 아카이브(arXiv)에 관련 논문을 올리면서 알려졌다. 보도에 따르면 구글브레인이 개발한 이 SW는 단 64개(8x8) 화소로 이뤄진 저화질 이미지 입력하면 1024개(32x32) 화소로 구체화해서 보여준다.

위 사진에서 맨 왼쪽 열은 8x8 화소의 소스 이미지다. 가운데는 구글브레인 SW가 소스 이미지를 보고 32x32 화소로 구체화해 만들어낸 이미지다. 가장 오른쪽은 실제 원본 이미지다. 세 열을 비교해 보면 이 SW가 단 64개의 화소를 가지고 상당히 구체적인 이미지를 만들어 낸 것을 알 수 있다.

아스테크니카는 구글브레인이 두 개의 신경망 알고리즘을 결합해 이같은 SW를 개발했다고 소개했다.

■ 저화질 분석→고화질 매칭→세부항목 추가 방식

구글 브레인이 활용한 신경망 알고리즘은 '컨디셔닝 망'(conditioning network)과 '프라이어 망'(prior network)이다.

컨디셔닝 망은 저해상 이미지를 분석한 뒤 비슷한 고해상 이미지로 연결해주는 역할을 한다. 반면 프라이어 망은 컨디셔닝 망이 만들어낸 이미지에 좀 더 세부적인 부분을 추가해준다.

위 그림을 갖고 다시 살펴보자.

컨디셔닝 망은 해상도가 낮은 8x8 화소의 소스를 분석한 뒤 유사한 고화질 이미지와 연결해 준다.

이 때는 수 많은 고화질 이미지를 8x8이미지로 화소를 해상도를 낮춘 뒤 다시 고화질 이미지와 연결하는 방식으로 학습한다.

그런 다음엔 두 번째 신경망인 프라이어 망이 추가 작업을 한다.

이 망은 소스 이미지에 좀 더 세부적인 부분을 추가해준다. 프라이어 망은 수많은 고화질 이미지를 보고 클래스별로 분류하고 해당 클래스에 있는 이미지를 구성하고 있는 요소들을 학습해 둔다.

그 다음 소스 이미지가 업스케일(화소를 늘려 이미지를 선명하게 하는 기술) 됐을 때, 소스 이미지가 속해 있는 클래스에 대해 이미 알고 있는 특징을 살려 새 화소를 추가해준다. 예컨대, 프라이어 망은 학습을 통해 사람 얼굴에서 눈썹을 식별할 수 있는데, 사람 얼굴로 추정되는 소스 이미지가 업스케일 됐을 때 눈썹모양의 갈색 화소를 채우는 식이다.

마지막으로 두 인공신경망이 만들어낸 결과물은 하나로 합쳐져 최종 결과물이 만들어진다.