브라우저에 페이스북의 눈을 달아보자

페이스북이 딥러닝 기반 이미지 인식 알고리즘을 연구 중이라는 사실은 알려져 있다. 알고리즘을 활용한 인식 기술이 이미 서비스에 적용돼 있다는 사실은 그보다 덜 알려졌다.

페이스북의 이미지 인식 기술은 눈처럼 작동한다. 사람들이 올린 사진을 보고 그에 담긴 형체가 사람인지 사물인지, 사람이면 몇 명이고 어떤 자세인지 또는 뭘 하는지, 실내인지 실외인지 따위를 알아낸다. 그 결과는 일반 사용자에게 보이지 않지만, 텍스트로 저장된다. 이 텍스트 설명은 브라우저 개발자도구를 통해 확인할 수 있다.

그루폰 개발자 애덤 가이트게이가 만든 브라우저 확장기능 동작 화면. 페이스북 이미지인식 알고리즘을 통해 사용자가 서비스에 올린 사진에 자동 생성되는 태그를 사용자에게도 직접 보여 준다. [사진=Adam Geitgey]

개발자도구를 쓰지 않고도 페이스북의 눈으로 해석된 사진 설명을 쉽게 볼 방법이 나왔다. 페이스북 이미지 설명 텍스트를 일반 웹페이지 화면에 표시해 주는 확장기능이 만들어졌다. 확장기능은 구글 크롬과 모질라 파이어폭스 브라우저를 지원한다. 깃허브 오픈소스 프로젝트 웹페이지에서 소스코드 또는 설치파일을 내려받을 수 있다.

[☞참조링크: GitHub - ageitgey/show-facebook-computer-vision-tags: A very simple Chrome Extension that displays the automated image tags that Facebook has generated for your images]

파이어폭스 또는 크롬 계열 브라우저에 확장기능을 설치하면 별다른 설정 없이 페이스북 서비스에서 해당 기능이 동작한다. 사용자가 올린 페이스북 포스팅, 댓글, 사진 앨범의 이미지 오른쪽 윗부분에 설명 텍스트가 뜨는 식이다. 다만 이 확장기능이 제 역할을 하려면 페이스북 언어 설정이 한국어가 아닌 '영어'여야 한다. 언어 설정은 페이스북 계정 설정의 '언어' 탭에서 할 수 있다.

[☞참조링크: 페이스북 계정 설정 - 언어]

페이스북의 눈은 성인(people)과 아기(baby)를 구별한다. 인물 근접 촬영이면 그 표정도 알아차린다. 단체 사진에선 수십명도 인식한다. 사람이 없을 땐 사물을 분류하거나, 이미지 속에 문자가 있다는 표시도 한다. 원거리 사진일 경우 관중(crowd)이 모인 스타디움(stadium)이란 공간을 배경으로 야구(baseball) 경기 중이라는 것도 알 수 있다. 페이스북이 분류에 적용하는 항목은 사진 속 인물의 활동, 표정, 사물뿐이 아니라 바닷가같은 공간이나 구름 낀 하늘같은 날씨, 석양같은 촬영 시간대도 포함한다.

[☞참조링크: This browser extension shows you just how smart Facebook’s image recognition is]

페이스북 이미지인식 알고리즘을 통해 사용자가 서비스에 올린 사진에 자동 생성되는 태그를 사용자에게도 직접 보여 주는 브라우저 확장기능 사례. [사진=Adam Geitgey]

일반 사용자들도 페이스북의 눈을 빌려 볼 수 있게 해 준 주인공은 미국 캘리포니아에 거주하는 소프트웨어 개발자 애덤 가이트게이(Adam Geitgey)다. 그는 소셜커머스업체 그루폰의 엔지니어링 디렉터로 그루폰 웹플랫폼 개발과 유지관리를 담당하면서 회사의 노드, 셀레늄, 스파크, 스파크 관련 오픈소스프로젝트 개발에도 참여해 왔다.

깃허브 프로젝트에 나온 그의 설명 일부를 한국어로 옮기면 아래와 같다.

"페이스북은 2016년 4월부터 alt 태그로 여러분이 올린 이미지에 그 내용을 표현하는 대표 키워드를 자동 첨가해왔다. 이미지 라벨을 붙이는 데 FAIR 팀이 개발한 딥컨브넷(Deep ConvNet)을 사용하고 있다. 일단은 훌륭하다. 시각장애가 있어 문자만 처리할 수 있는 스크린리더 사용자의 접근성을 향상시켜 준다. 하지만 일상적으로 사진에서 추출되는 정보량을 인터넷 사용자들이 깨닫진 않는 것 같다. 페이스북(과 구글, 애플, 아마존, 그외)은 여러분의 사진에서 쉽게 당신이 개를 키울지, 사진기를 수집할지, 골프를 칠지, 선글래스를 쓸지를 알아낼 수 있다. 페이스북이 여러분이 올린 ― 심지어 당신을 직접 태그하지 않고 다른 사용자가 올린 사진을 바탕으로, 여러분에게 적절한 광고를 보여주기 위해 이런 정보를 사용하는 걸 막을 수단이 전혀 없다!"

가이트게이는 사용자들이 올린 사진에서 페이스북이 어떤 정보를 추출해 활용하고 있는지 쉽게 알 수 있게 하려고 확장기능을 만들었다고 설명했다. 페이스북의 이미지인식과 같은 기술은 앞으로 확산될 게 아니라 이미 모든 주요 인터넷 회사들이 광범위하게 실제 업무에 적용하고 있는 기술이라 덧붙였다.