NHN 패션 이미지 검색기, '옷 바닥샷'도 인식한다

개발자 행사 'NHN 포워드'서 개발 노하우 공개

사람이 입지 않은 바닥에 놓인 옷도 제대로 인식하는 패션 이미지 검색 기능이 공개됐다.

NHN에서 패션 이미지 검색 기술을 연구하는 김현기 개발자는 27일 열린 개발자 행사 ‘NHN포워드’에서 ‘패션 검색 : 사진만 줘, 그 옷 찾아줄게’란 주제로 기술 성과를 발표했다.

올해로 2회째를 맞은 NHN포워드는 서울 삼성동 그랜드 인터콘티넨탈서울 파르나스에서 개최됐다. 2천여명에 달하는 개발자 등 IT 업계 종사자들이 참여했으며, 김현기 개발자의 발표장에도 250여명이 참석했다.

NHN 김현기 개발자

김 개발자는 “옷을 바닥에 놓고 촬영한 사진을 받으면 아예 옷이라는 것을 인식하지 못하는 문제가 있었다”며 “바닥에 옷을 놓은 사진의 경우 이미지 디텍터(탐색기)가 사람이 입고 있지 않거나, 상품의 일부가 잘려 잘못된 판단을 내렸다”고 말했다.

이어 “이는 전에 활용하던 데이터들에 이같은 바닥샷이 없었기 때문이었다”며 “그래서 블라우스, 치마 등을 바닥에 놓고 찍은 바닥샷 4천장을 정제해 추가했더니 조금 잘 잡히기 시작했다”고 설명했다.

김 개발자가 발표 중 띄운 사진을 보면 바닥에 옷들이 가지런히 놓여있는데, 이를 디텍터가 각각 ‘상의’, ‘하의’, ‘신발’ 등이라고 정확히 포착했다. 접혀있는 상태의 하의 사진도 하의라고 맞게 짚었다.

NHN의 패션 이미지 검색 기술은 사람이 입지 않고 바닥에 놓여 있는 옷 사진도 인식한다.

기술에 활용되는 이미지를 정제하는 작업을 하는 담당자들이 제기하는 의문들도 개발자들이 진지하게 고민하고 있다고 강조했다. 작업자들은 머신러닝에 활용할 데이터에 상의·하의·신발 등 특징을 박싱(이미지 위에 상자모양으로 표시)하거나, 오차 범위를 넓히는 저품질 데이터를 배제하는 등의 일을 한다.

김 개발자는 “데이터 정제 작업 담당자로부터 ‘신발이 찐빵 같이 생겼는데 박싱해야 되나요?’, ‘(앞에 옷을 입은 사람이 있지만) 뒤에 (옷걸이에) 걸린 스카프도 잡을까요?’, ‘옷을 반만 걸쳐 입었는데 잡을까요?’라는 질문을 받는다”며 “우리는 이같은 의문들에도 계속 고민을 하고 있다”고 설명했다.

NHN 패션 이미지 검색팀이 데이터 정제 과정에서 받은 질의들.

머신러닝이 옳은 판단을 하도록 유도하기 위해 의류 카테고리 비율을 맞추는 작업도 진행됐다.

김 개발자는 “애초 디텍터가 한 사진에서는 상의, 하의 같은 카테고리를 하나만 찾도록 학습이 됐다”며 “두 가지 이상 카테고리를 요구할수록 정확한 답변을 내놓지 못해, 가령 상의라고 인식돼야 할 이미지를 갑자기 신발이라고 표시하는 문제가 발생했다”고 밝혔다.

이어 “그런데 데이터 분포를 보니까 상의에 해당하는 데이터는 12%, 하의 10%, 신발은 33%의 비율로 있었다”며 “머신러닝은 신발이라고 판단할수록 정답인 케이스가 많기 때문에 이런 쪽으로 학습이 되고 있었던 것으로 유추된다”고 덧붙였다.

이미지 디텍터 자체의 성능도 높였다. 기존 SSD 기반 디텍터, VGG네트워크에서 최근 각각 앵커프리 모델, 레스넷으로 변경해 더 좋은 서비스를 제공할 수 있게 됐다.

NHN은 이같은 패션 이미지 검색 기능을 자회사 NHN고도, 에이컴메이트 등에 적용하는 방향에 대해 검토 중이다. 패션쇼핑몰 ‘브랜디’에는 해당 기능을 다음달에 적용할 예정이다.