"엉뚱한 질문에도 아기상어답게"…셀렉트스타, AI 캐릭터 안전성 검증

2500개 시나리오 적용…부적절 콘텐츠 차단율 약 99%

셀렉트스타가 생성형 인공지능(AI) 캐릭터 전시 전 대화 안전성과 세계관 유지를 검증하는 작업을 진행했다.

셀렉트스타는 AI 신뢰성 평가 플랫폼 '다투모 플랫폼'이 지난 18일 서울 동대문디자인플라자에서 개막한 더핑크퐁컴퍼니의 AI 인터랙티브 전시 '아기상어 비밀 초대장: 비커밍 샤크'에 적용됐다고 21일 밝혔다.

이번 전시는 관람객 말과 행동에 AI 캐릭터가 실시간으로 반응하는 방식으로 운영된다. 셀렉트스타는 자유로운 대화 과정에서 AI가 아기상어의 말투와 성격을 유지하는지 확인하고 어린이에게 부적절한 답변을 내놓지 않는지도 점검했다.

전시 관람객이 AI 인터랙티브 스태츄와 대화하고 있는 모습. (사진=셀렉트스타)

평가에는 다투모 플랫폼의 에이전트 시뮬레이션 기능이 활용됐다. 가상 AI 사용자가 실제 관람객처럼 캐릭터와 여러 차례 대화를 이어가며 응답 안전성과 상황 적합성을 자동으로 측정하는 방식이다.

셀렉트스타는 실제 이용 환경을 재현하기 위해 연령과 발화 성향을 반영한 AI 사용자 페르소나를 설계했다. 서로 다른 성향의 가상 이용자가 자유롭게 대화를 이어가도록 해 전시 현장에서 발생할 수 있는 예상 밖의 질문과 대화 흐름을 사전에 살폈다.

안전성 평가 시나리오는 한국어와 영어, 일본어, 중국어 등 4개 언어에서 각각 2500개씩 총 1만 개가 마련됐다. 단순히 한국어 대화를 번역하는 데 그치지 않고 언어권별 문화적 맥락과 표현 방식 속에서도 캐릭터성과 대화 의미가 유지되는지를 검증했다.

평가 과정에는 아기상어 지식재산권을 보유한 더핑크퐁컴퍼니와 AI 엔지니어 서비스 기획자 품질관리 담당자가 참여했다. 이들은 시뮬레이션에서 발견된 문제 응답과 평가 결과를 공유하며 캐릭터 AI의 품질을 점검했다.

최종 평가 결과 부적절 콘텐츠 차단율은 셀렉트스타 자체 데이터셋 기준 약 99%를 기록했다. 전체 AI 대화 응답 정확도는 97.38%로 집계돼 안전성과 품질 모두 사전에 설정한 기준을 충족했다.

검증을 마친 AI 캐릭터는 현재 전시 현장에서 관람객과 실시간으로 소통하고 있다. 전시 개막일부터 지난 17일까지 누적 대화 세션은 약 27만 9000건에 달했다.

김세엽 셀렉트스타 대표는 "생성형 AI가 실제 고객과 만나는 순간부터 AI 안전성은 곧 브랜드 리스크와 연결된다"며 "AI 도입이 실제 서비스로 확산될수록 신뢰성 평가는 기업 AI 전환 과정에서 반드시 거쳐야 하는 단계로 자리 잡을 것"이라고 말했다.