네이버는 어떻게 상품추천 클릭 3배 높였나?

모든 인터넷 공간이 개인의 취향과 성격을 고려한 맞춤형 서비스들로 채워지고 있다. 더 많은 사용자들로부터 주목을 받고 소비가 이뤄져야 결국 수익으로 연결될 수 있기 때문이다.

광고와 마찬가지로 더 많이 노출되고 구매가 이뤄져야 하는 쇼핑 영역의 경우도 개인에 최적화된 상품 추천이 매우 중요하다.

그런데 검색 키워드나 구매 이력을 이용한 기존 개인화 추천은 정확도가 떨어지는 한계를 지닌다.

반면 네이버는 폭넓은 데이터를 기반으로 한 인공지능(AI) 기술 기반 쇼핑 추천 서비스로, 서비스 초반부터 의미있는 성과를 거두는 것으로 나타나 주목된다. 상품 검색의 고도화로 주간 클릭률이 무려 3배 가까이 오르는 효과를 본 것이다.

지디넷코리아와 씨넷코리아는 22일 포시즌스 호텔 서울 그랜드 볼룸에서 AI 컨퍼런스를 개최한다. IBM, 알리바바, 네이버, 카카오 등 글로벌 기업 전문가들이 연사로 참여한다.

네이버의 이정태 퍼스널쇼퍼 리더는 22일 지디넷코리아가 주최하는 ‘아시아 테크 서밋 2017'에서 인공지능(AI) 기반 개인화 상품 추천 시스템인 ‘에이아이템즈’(AiTEMS)의 개발배경과 기술력을 소개한다.

고객과의 접점을 찾고 싶은 유통 소상공인은 물론, 개인 맞춤형 상품 추천을 고민 중인 플랫폼 사업자들의 뜨거운 관심이 예상된다.

■ 기존 쇼핑 검색 노출 6% 불과…“AI로 극복~”

이정태 리더에 따르면 전통적인 개인화 추천 방법으로는 유사한 사용자들이 선호한 다른 아이템을 추천해주거나(Collaborative Filtering), 과거에 선호한 아이템과 내용이 유사한 다른 아이템을 추천해주는(Content-based Filtering) 방식 등이 주로 쓰였다.

그러나 이력이 없는 사용자나 소비된 적 없는 아이템은 추천이 불가능하고, 정확도가 낮은 한계를 지녔다. 또 이 둘을 결합한 하이브리드 방식도 사용됐지만, 이 역시 만족스런 결과를 가져오진 못했다.

그러다보니 영세한 소상공인들은 소비자와 접점을 찾지 못해 고민이 컸고, 플랫폼 사업자들은 ‘무늬만 개인화 추천’에 별 다른 성과를 거두지 못해 어려움을 겪었다.

국내 대표 검색 포털 서비스인 네이버도 예외는 아니다. 하루 평균 2천500만 명의 사용자들이 방문해 검색어를 입력하고, 약 5억 건의 쇼핑상품이 등록돼 있어 검색 노출이 가능하지만 이중 실제로 검색에 노출되는 상품은 약 6%에 불과하다.

이런 고민 끝에 네이버는 에이아이템즈라는 딥러닝 방식의 쇼핑 추천 서비스를 개발, 도입 첫 주 대비 3배 이상(11월 현재 기준) 높은 클릭률의 성과를 거두고 있다.

■에이아이템즈, 사용자 이력을 낱낱이 분석하다

에이아이템즈는 사용자가 쇼핑 외에도 네이버의 각기 다른 서비스에 남긴 이력을 바탕으로 다양한 관점에서 관심사를 분석해 취향에 맞는 상품을 추천해준다.

먼저 사용자 이력과 프로필 정보 등을 이용해 사용자별로 수억 건의 상품 중 취향에 어울릴만한 후보들을 수천 개씩 추려낸다. 이어 인공신경망 기반 추천 모델에 ‘사용자 정보’와 ‘상품 정보’를 반영, 최종 추천결과를 생성한다.

에이아이템즈의 인공신경망 기반 추천 모델은 ‘사용자’와 ‘상품’을 각각 벡터로 표현, 기존에 학습된 은닉층(Hidden layer)에 입력시켜 사용자가 해당 상품을 소비할 확률을 예측한다.

네이버는 연령대, 성별 등을 포함한 사용자 이력, 프로필 정보를 기반으로 인공신경망을 활용해 상품을 추천한다.

사용자를 벡터로 놓을 때는 해당 사용자의 쇼핑 이력과 쇼핑 외 콘텐츠(블로그, 뉴스 등) 관련 이력, 인구통계 정보 등을 조합해 고차원의 입력 벡터로 변환한다. 이렇게 되면 비슷한 이력을 가진 사용자들은 유사한 사용자 벡터로 표현된다.

또 상품을 벡터로 놓을 때는 주어진 상품의 상품명, 카테고리명 등의 텍스트 정보와 상품 이지미를 컨볼루션 신경망(CNN)에 입력해 얻어낸 벡터를 결합해 넣는다. 그러면 비슷한 상품일수록 유사한 상품 벡터를 갖게 된다.

이어 사용자의 검색 이력 등과, 그 사용자가 클릭 및 구매한 상품 쌍 데이터를 수집해 학습한 뒤 최적의 추천결과물을 도출한다. 아울러 에이아이템즈는 추천결과에 대한 사용자 반응 등을 반영해 더욱 정교한 상품 추천을 구현한다.

단순한 예를 들면 사용자가 네이버 검색창에서 ‘야구장’을 검색하거나 야구 관련 동영상 또는 뉴스를 시청했을 경우 에이아이템즈는 추천 쇼핑 영역에 야구 용품을 보여준다. 네이버에서 상품 구매 경험이 없는 고객이지만, 야구에 대한 관심이 많은 고객이란 분석이 이뤄져 이에 맞는 상품 추천이 가능해지는 것이다.

■ 네이버 “에이아이템즈, 성공적”