[NDC21] 넥슨 권승진 "테스터 객관적 평가, AI 얼굴 분석으로 가능"

포커스그룹테스트(FGT) 얼굴 분석 프레임워크 개발 사례 공개

인공지능(AI) 딥러닝을 활용한 게임 관련 테스트 평가 기술이 넥슨개발자컨퍼런스(NDC) 기간 공개됐다. 

 

넥슨코리아의 권승진 엔지니어는 NDC2021 개막날인 지난 9일 '포커스그룹테스트(FGT) 얼굴 분석 프레임워크 개발 사례'를 주제로 온라인 강연을 했다.

게임 개발 9년차인 권승진 엔지니어는 넥슨코리아의 인텔리전스랩스 머신러닝파트에서 머신러닝 엔지니어로 일하고 있으며, 주로 컴퓨터 비전과 관련된 업무를 하고 있다.

넥슨코리아의 인텔리전스랩스 소속 권승진 엔지니어.

이날 강연은 FGT 참가자의 표정을 분석해 객관적으로 테스트 반응을 평가하는 AI 기술 소개와 개발 과정이었다. 해당 기술은 테스트 참가자의 얼굴에 드러나는 감정의 변화, 화면 응시 여부 등을 딥러닝으로 자동으로 알 수 있게 해주는 방식으로 요약된다.

FGT는 이용자(나이, 성향, 게임 숙련도 등)의 특성에 따라 반응을 살펴 게임성을 검증하는 방식이다. 대부분의 게임사는 오프라인 FGT 방식에 설문조사 기법 등을 활용하고 있지만, 권 엔지니어는 AI 딥러닝 기술 접목을 시도했다.

권승진 엔지니어는 "AI를 이용해 (FGT)참가자의 얼굴 표정을 분석하면 어떨까라는 아이디어에서 출발했다"며 "테스트 참가자가 게임을 플레이하는 동안 게임 화면과 참가자의 얼굴을 보면서 얼굴 분석도 실시간으로 관찰할 수 있는 환경을 만든다는 기획 의도로 프로젝트가 만들어졌다"고 말했다.

이어 그는 "초반에는 게임 플레이 영상과 얼굴 영상을 수동으로 녹화해 파이썬에서 한 장씩 불러와 분석 모델을 구동했다. 실시간으로 관찰할 수 있는 프레임워크를 구축하기로 했고 AI 기술도 적용했다"며 "수백회의 자체 게임 플레이와 영상 녹화 테스트를 진행해 정확도를 검증했다. 사람이 직접 표정을 분석해 이를 AI가 분석한 결과와 비교했다"고 덧붙였다.

권 엔지니어에 따르면 해당 기술은 얼굴 인식, 감정 분석, 화면 응시 여부 판단 등이 핵심 요소였다. AI 표정 인식과 감정 분석, 참가자가 화면을 바라보는지 등이다.

얼굴 인식 부분에는 정확도와 환경 변화에 대한 대응력도 중요했지만, FPS(처리속도)에 초점을 맞췄다고 설명했다. 이를 위해 '페이퍼스위드코드' 사이트에서 자료를 수집했고, 얼굴 인식 모델로 울트라라이트를 선택했다고 밝혔다. 이는 해당 모델이 FPS가 좋았기 때문이다.

여기에 감정 분석은 비디오(사진), 오디오(소리), 텍스트(문자), 센서(맥박 및 근육 센서) 중 비디오를 선택했다. 감정 분석을 위한 데이터셋으로는 FER플러스와 이모션넷, 어펙트넷 중 FER플러스를 추천했다.

테스터 분석 구조도 설명했다. 연구자가 세션을 생성하고 참가자가 세션에 접속하면 얼굴 영상과 오디오, 게임 플레이 화면을 공유하게 허용하면된다.

이 같은 방식은 웹RTC 기술이 사용된며, 이런 방식으로 수집된 테스트 참가자의 얼굴과 플레이 화면은 분석 서버로 전송되도록 하면된다.

분석 프레임워크를 활용해 테스트를 해본 결과 얼굴 인식에 대한 판단 정확도는 98%로 나타났다. 사람이 직접 얼굴 있다고 판단했을 때를 AI와 비교했을 때 정확도가 99.9%였고 없다고 판단했을 때 AI와 비교시에는 97%였다.

감정 추론에 대한 정확도도 72%로 조사됐다. 무표정, 행복, 놀람, 슬픔, 화남 등 개별 감정에 대해서는 78%, 90%, 60%, 68%, 52%의 정확도를 보였다고 한다.

권승진 엔지니어는 강연 말미에 "이러한 시도가 아직은 초기 단계로 향후 별도의 처리 없이 보고서까지 생성하는 것을 목표로 하고 있다"면서 "기존 정성적 보고서를 작성하는 FGT에 더해 정량적 보고서까지 작성할 수 있는 기능이 더해져 보다 탄탄한 FGT 결과를 얻을 수 있을 것"이라고 밝혔다.

또한 권 엔지니어는 "게임에 대한 객관적인 반응을 엿볼 수 있게 해주는 유용한 AI가 되기를 희망하고 있다"며 "개발팀이 의도했던 내용이 이용자에게 잘 전달되는지를 파악해 반영하고 반복해서 폴리싱 한다면 게임이 더욱 더 대중의 사랑을 받게 만드는데 유용한 역할을 할 것으로 생각한다"고 기대했다.