AI, 지도영상 속 얼굴-차량번호 어떻게 지우나

카카오 "딥러닝 활용…로드뷰 작업시간 90% 단축"

온라인 지도를 만드는 건 굉장히 품이 많이 드는 작업이다. 새로 난 도로나 건물 정보를 수시로 반영해야 하기 때문이다. 상호가 바뀌는 상점들도 때마다 반영해줘야 한다.

이런 작업을 하는 데 유용한 것이 거리 모습을 실제로 찍은 사진이다. 그런데 여기에 또 문제가 있다. 사생활 침해 우려가 있는 사람 얼굴이나 차량 번호판 같은 것들을 가려줘야 하기 때문이다. 실제로 구글은 '스트리트뷰'에 무차별 노출된 개인들의 항의 때문에 곤란을 겪기도 했다.

문제는 영상이나 사진에서 민감한 개인정보를 지우려면 엄청나게 많은 시간이 든다는 점이다. 문제가 될만한 장면을 일일이 확인한 뒤 지워야 하기 때문이다.

'로드뷰' 서비스를 하고 있는 카카오는 이런 고민을 어떻게 해결했을까?

카카오는 19일 공개한 '카카오AI리포트 Vol.3'를 통해 딥러닝 기술을 활용해 이런 작업 시간을 대폭 줄이는 데 성공했다고 밝혔다. 로드뷰에서 보이는 사람얼굴과 차량번호판을 흐리게 처리(blurring)하기 위해 인공지능(AI) 기술의 도움을 받고 있다. 이러한 기술은 3월31일부터 로드뷰에 적용되기 시작했다.

■ 카카오맵 로드뷰서 작업량 90% 줄여

카카오는 카카오맵 로드뷰를 업데이트하기 위해 360도 촬영할 수 있는 고해상도 카메라를 탑재한 차량을 전국 각지에 보낸다. 차가 들어갈 수 없는 좁은 도로나 공원, 아파트 단지 등에서는 전기로 움직이는 소형 이륜차인 세그웨이 등을 활용해 영상을 찍는다.

문제는 전국 각지에 수많은 담당자들이 고생해서 모은 영상 데이터를 분석할 때 또 다시 수고를 들여야한다는 점이다. 촬영된 영상을 지도에 반영하기 전 사람들의 얼굴이나 차량번호판을 지우는 과정이 필요하기 때문이다.

리포트에서는 카카오맵 로드뷰에 어떻게 딥러닝 기술이 적용돼 사람이 수작업으로 처리해야했던 부분을 줄일 수 있는지 설명했다.

이 회사는 딥러닝 기술을 활용해 촬영된 사진 내에 사람, 차량을 분간해내고 번호판의 위치를 정확하게 찾아내 흐리게 처리할 수 있도록 하는 방법을 썼다. 그 결과 90% 이상 작업량을 줄이는 효과를 거뒀다.

어떻게 가능했을까?

카카오는 컴퓨터 비전, 영상처리 기술로 컴퓨터가 사람, 차량, 건물 등을 정확히 분간해 낼 수 있게 하는 '객체 검출(object detection)' 기술을 썼다. 또한 여기에 딥러닝을 적용해 현재와 같은 성과를 거뒀다. 이 기술은 이전까지 스마트폰, 로봇, 출입통제시스템 등에서 널리 활용됐다.

리포트에 따르면 이전까지는 지도 데이터를 업데이트 하기 전 하나의 영상에 100개 얼굴이나 차량번호판이 있을 경우 해당 객체들의 위치를 일일이 표시하고 직접 확인한 뒤에야 흐리게 처리했다.

그러나 객체 검출을 도입하면서 90개 이상 얼굴, 번호판을 AI가 확인해 처리하고 남은 10개에 대해서만 담당자가 직접 손을 보면 되도록 했다. 그만큼 시간을 절약할 수 있게 된 것이다.

왼쪽은 Faster R-CNN, 오른쪽은 RF-RCNN. 카카오맵 로드뷰에는 RF-RCNN을 적용해 차량번호판과 사람얼굴을 더 정확히 분간해 블러처리 할 수 있게 했다. (자료=카카오AI리포트)

카카오맵 로드뷰에서 복잡한 환경에서도 사람, 자동차를 정확히 분간하는 모습 (자료=카카오AI리포트)

■ 어떤 AI 기술 썼길래…

단순히 객체 검출만으로 이런 효과를 거둔 것은 아니다. 카카오는 이러한 객체 검출을 보다 정확하게 수행하기 위해 딥러닝 기술을 효율적으로 쓰는 방안을 고안했다.

이전 방식은 사람, 차량 등 각 객체별로 서로 다른 검출기를 써야했다. 3가지 서로 다른 종류의 객체를 분간해 내려면 3개의 툴이 필요했다.

카카오는 여기에 딥러닝을 적용해 영상 내에서 찾고자 하는 특징을 자동적으로 학습할 수 있게 하는 방법을 썼다. 이를 통해 하나의 검출기만으로 여러 객체를 구분해 낼 수 있도록 했다는 설명이다.

구체적으로는 객체가 있을만 한 후보 영역을 먼저 찾아내고, 그 영역에 딥러닝 기법을 적용했다. 이를 두고 딥러닝 기술 중 하나인 R-CNN으로 부른다. 객체가 있을만한 후보 영역을 찾아내고 이를 CNN이라 불리는 인공신경망에 올려 객체가 뭔지 분류하고, 위치를 보정하는 방법을 쓴 것이다. 다만 이 방법은 각각 객체 후보 영역 마다 CNN을 돌려야하기 때문에 많은 연산시간이 필요했다.

카카오 AI 리포트에 따르면 카카오는 이런 문제를 해결하기 위해 더 빨라진 R-CNN(Faster R-CNN)이라는 방법을 고안해 냈다. R-CNN과 달리 객체가 있을 만한 후보 영역을 확인하는 단계에까지 인공신경망을 적용해 속도를 높였다.

다시 말해 많은 연산 작업을 필요로 하는 CNN을 돌리는 횟수를 줄이는 방법을 썼다는 뜻이다.

이렇게 더 빨라진 R-CNN을 거친 뒤에는 카카오가 자체적으로 고안한 정제 네트워크(refining network)를 사용해 보다 정확하게 흐리게 처리해야하는 대상의 위치를 찾아낸다. 이를 두고 RF-RCNN이라고 부른다.

예를 들어 자동차와 같은 큰 객체는 쉽게 파악할 수 있지만 여기서 다시 차량 번호판을 알아내는 것은 쉽지 않은 일이다. 이런 과정을 돕는 것이 정제 네트워크라는 설명이다.

카카오는 그 결과 로드뷰 객체 검출기의 성능을 확인하기 위해 900장의 초고해상도 영상을 사용해 테스트를 수행했다. 그 결과 이전 Faster R-CNN의 차량 번호판 인식 오류가 0.57이던 것을 정제된 네트워크를 도입한 RF-RCNN의 경우 0.30가지 줄일 수 있었다고 리포트를 통해 밝혔다.

카카오AI리포트에 따르면 이러한 기술을 고안한 연구자들은 "카카오맵 로드뷰 흐림 처리 서비스에 적용해 기존 대비 96% 이상 효율 개선 효과를 볼 수 있었다"며 "AI가 실제 서비스로 구현될 때 어떤 역할을 할 수 있는지 참고가 되기를 바란다"고 말했다.