유니티 슈퍼소닉, 신규 A/B 테스트 및 모든 게임 페이지 업데이트

유니티는 하이퍼 캐주얼 게임 퍼블리싱 솔루션 슈퍼소닉 플랫폼에 신규 A/B 테스트 페이지 및 ‘전체 게임 페이지’ 등 두 가지 주요 업데이트를 실시했다고 오늘 공식 발표했다.

해당 업데이트를 통해 개발자들은 더 정확한 A/B 테스트를 실행하여 KPI(핵심평가지표) 성능을 향상할 수 있으며, 데이터에 대한 즉각적 시각화를 제공받음으로써 실행에 옮기기에 앞서 한층 정교한 정보를 기반으로 게임 성장과 관련된 큰 그림을 예단할 수 있게 됐다.

주요 업데이트 내용으로는 A/B 테스트에 대한 새로운 접근법을 도입시켜 모든 프로세스를 혁신적으로 변화시킨 A/B 테스트 페이지가 새롭게 추가된 점이 핵심이다. 테스트를 진행하는 과정에서 이상값과 소규모 대상 그룹으로 인해 테스트가 부정확할 수 있음을 인식해 결과치를 분석 및 표시할 때 더욱 광범위한 테스트 상태를 고려한다.

개발자에게 평균 결과가 아닌 전체 테스트 결과와 통계적 중요성을 보여줌으로써 데이터에 기반한 보다 정확한 의사 결정을 내릴 수 있다는 것이 회사 측의 설명이다.

A/B 테스트 계산기를 활용할 경우, 개발자들은 목표 KPI와 필요한 오류율 및 변형 양 등을 고려해 특정 테스트에 필요한 대상 오디언스 규모를 이해할 수 있게 됐다. 이는 테스트가 통계적으로 중요한 수준까지 도달하는 데 필요한 날짜와 사전에 정해둔 목표를 달성한 유저 수에 대한 인사이트와 결합되는 부분이며, 슈퍼소닉의 계산기는 이를 게임 및 테스트 유형별로 해결할 수 있도록 새롭게 설계했다.

게임 개발자들에게 필요한 테스트 결과의 통계치도 표시된다. 특히, 평균 결과 대신 전체 결과 범위가 표시되며, 이를 통해 주요 결과에 대한 명확한 가시성을 확보할 수 있을 뿐만 아니라 이상치를 제거함으로써 보다 정확한 의사 결정을 내릴 수 있도록 데이터 지표를 지원한다.

유니티 슈퍼소닉에 따르면 이번 업데이트는 기존 A/B 테스트 방식의 틀을 완전히 재편한 수준으로, 획기적인 기능이 추가되어 업계의 판도를 바꿀 것으로 예상한다. 개발자들은 때로는 주요 KPI에 통계적 변화가 나타나지 않아 테스트 진행 여부에 어려움을 겪는데, 이는 대상 규모가 충분하지 않았거나 테스트의 부수적 효과가 개발자가 필요로 하는 다른 KPI에 유리하게 작용했을 가능성이 있기 때문이다.

가령, ARPU의 비통계적 변화로 인해 7일차 게임 잔존율 및 플레이 시간이 크게 증가할 수도 있는데, 이 경우 테스트 값을 조정하여 테스트를 실시해야 한다. 허나, 앞으로 슈퍼소닉의 A/B 테스트 페이지에서 테스트의 전체 효과가 통계적 중요성에 따라 표시되므로 개발자는 테스트 진행을 결정하기에 앞서 모든 지표에 대한 영향을 확인할 수 있다. 이는 업계에서 유일하게 제공되는 A/B 테스트 도구이므로 시장 내 선두주자로 자리할 전망이다.

또한 새롭게 개편된 슈퍼소닉의 ‘모든 게임 페이지’에서 채널 및 코호트 기간별로 나누어진 CPI, 게임 플레이 시간, 잔존율, ARPU 등 기타 30개의 지표 중에서 개발자가 원하는 KPI를 선택할 수 있다.