[NDC21]엔씨 정예원, 추천알고리즘 오프라인 테스트 사례 발표

A/B 테스트 개념, 오프라인 A/B 테스트 추론, 페이지 서비스 사례 소개

엔씨소프트의 프로야구 서비스 페지에에 활용한 추천알고리즘 오프라인 테스트 사례가 공개됐다.

해당 테스트는 서비스의 만족도를 높이기 위한 것으로, 하나의 서비스에 다양한 추천 콘셉트 및 알고리즘을 미리 시도할 수 있다는 점이 장점으로 꼽힌다.

엔씨소프트의 정예원 연구원(지식 AI랩 큐레이션팀)은 9일 '추천알고리즘 Offline A/B 테스트(feat. PAIGE 프로야구 서비스)'를 주제로 NDC21 온라인 강연에 나섰다.

엔씨소프트의 정예원 연구원(지식 AI랩 큐레이션팀).

강연은 오프라인 A/B 테스트 개념, 오프라인 A/B 테스트의 추론 방법, 페이지 서비스 적용 사례 순서로 진행했다.

A/B 테스트는 두 가지 알고리즘의 성능을 비교 평가하는 것을 말한다. 하나의 서비스에 여러개의 추천 콘셉트 및 알고리즘을 비교 평가하는 방식이 기본이었다.

정예원 연구원은 "A/B테스트는 크게 온라인 오프라인 두가지 방법이 있다. 온라인은 실제 서비스에 A와 B 알고리즘 적용해 성능을 비교 평가하는 것이라면, 오프라인은 과거 A 알고리즘이 실제 서비스에 적용된 히스토리 데이터를 이용해 B 모델의 실제 성능을 추론하는 것이다"며 "온라인과 오프라인 테스트는 각각 장단점이 있다"고 말했다.

이어 그는 "온라인 테스트는 결과를 신뢰할 수 있지만, 데이터가 수집되기까지 많은 시간이 소요되고 리스크가 크다"며 "최악의 경우 부정적인 경험을 한 사용자가 서비스를 탈퇴할 수 있거나 매출이 하락할 수 있다. 이에 대한 대안이 바로 오프라인 테스트다"고 덧붙였다.

정 연구원에 따르면 오프라인 A/B 테스트도 단점이 있지만, 정확도를 높이기 위해 반사실적 사고(coungterfactual thinking) 접근과 사용자의 반응을 리 웨이팅(re-weighting) 방법으로 한계를 극복할 수 있다고 한다. 반사실적 사고는 '만약~했다면'이란 조건부와 '~했을 텐데'라는 결과부로 구성된다.

무엇보다 오프라인 테스트에 대한 연구는 야후, 마이크로스포트, 넷플릭스 등 많은 기업들이 시도하고 있다는 점을 주목해야한다고 했다. 최근 AI 머신런닝 관련 학술지에 관련 주제의 논문이 증가하고 있다는 게 정 연구원의 설명이었다.

특히 오프라인 A/B 테스트의 추론방법을 통해 임포턴스 웨이트(importance weight) 개념 설명과 추천 우선순위를 분류하는 과정, A와 B 알고리즘의 추천 확률을 비교해 웨이트를 구하고 이를 통해 이용자 추정 반응률을 계산할 수 있다고 했다.

물론 이때 발생하는 오차는 특정 값이 임의의 숫자보다 큰 경우 보정값으로 대체하는 CIS(Capping Importace Sampling)를 도입해 예측 에러를 최소화할 필요가 있다는 조언도 아끼지 않았다.

이 같은 방식은 엔씨소프트의 야구 정보 서비스 페이지에 적용됐고, 결과는 긍정적이었다고 했다. 적용한 영역은 KBO프로야구 AI 서비스 페이지 애플리케이션 홈 탭(tab)이다. 홈 탭은 야구 뉴스와 영상, 퀴즈, SNS 등 다양한 종류의 피드를 추천한다.

정예원 연구원은 "여러 번의 오프라인 테스트 결과를 토대로 실제 페이지의 온라인 서비스에 적용한 결과 기존에 비해 반응률이 0.7%p 상승한 것을 확인할 수 있었다"며 "오프라인 A/B 테스트 측정 중에는 여러번의 반복적인 실험을 통해 NCIS 성능이 가장 좋은 것을 알 수 있었다. 그러나 NCIS 외 데이터를 적절한 그룹으로 정규화한 pieceNCIS, 데이터를 각각 나눠 개별적으로 정규화한 point NCIS 방법도 있으니 참고해달라"고 말했다.  

또한 정 연구원은 "만약 결정론적(deterministic) 알고리즘도 오프라인 A/B 테스트 방법론에 적용하고 싶다면 추계학(stochastic) 모델로 근사하는 방법이 필요하다. 이는 랭킹 스코어(Ranking score) 기반 웨이트 샘플링으로 추천 확률을 생성하거나 이중적 로버스트(doubly robust) 방법론을 활용해 볼 수 있을 것 같다"며 강연을 마쳤다.