셀렉트스타, AI 신뢰성 자동 검증 솔루션 출시

AI 오류·위험 요소 사전 감지…기업 맞춤형 평가 자동화 기능 제공

셀렉트스타가 인공지능(AI) 서비스 오류·위험성을 사전 식별할 수 있는 솔루션을 출시해 AI 신뢰성 강화에 나섰다.

셀렉트스타는 생성형 AI 서비스 신뢰성 검증 자동화 솔루션 '다투모 이밸'을 출시했다고 20일 밝혔다. 

다투모 이밸은 AI 신뢰성 검증 프로세스를 자동화하는 솔루션이다. AI 서비스 운영 중 발생할 수 있는 다양한 오류와 위험성을 사전에 식별하고 대응할 수 있도록 지원한다.

다투모 이밸 예시 이미지. (사진=셀렉트스타)

주요 기능은 ▲기업의 AI 서비스 유형과 사용 목적에 따른 평가 기준 설정 ▲도메인·서비스에 부합한 맞춤형 평가용 질문 자동 생성 ▲AI 서비스의 답변 자동 평가·결과 분석 ▲AI 서비스 취약점을 이끌어내는 레드티밍 기능 등이 있다.

해당 솔루션은 100만 개 이상의 평가용 질문을 자동 생성해 AI 모델이 처리해야 할 다양한 사용자 발화 패턴을 포괄적으로 평가할 수 있도록 지원한다. 이를 통해 기존에 도메인 전문가가 손수 평가용 질문을 설계하며 발생했던 높은 비용과 기간을 획기적으로 절감했다. 또 자동 생성된 평가용 질문은 셀렉트스타의 자체 AI 에이전트 기술을 기반으로 생성된다. 사용 기업은 평가 목적, 요구사항, 난이도, 실제 고객 데이터와의 유사성 등 다양한 요소를 반영해 현실적인 평가를 할 수 있다.

다투모 이밸은 AI 서비스가 기업 설정 기준을 벗어나거나, 유해한 정보를 생성하는지를 감지하고 자동 평가하는 기능도 제공한다. AI와 사용자 간의 상호 작용을 수치화해 객관적으로 분석이 가능하다. 평가 과정에서는 다양한 메트릭을 제공해 여러 AI 모델의 성능을 비교, 약점을 빠르게 파악해 개선 방향을 도출할 수 있다. 평가가 완료된 후에는 모델이 특정 상황이나 맥락에서 문제를 일으키는 원인을 체계적으로 분석할 수 있다.

김세엽 셀렉트스타 대표는 "AI 상용화에서 가장 중요한 것은 신뢰성"이라며 "다투모 이밸을 통해 기업들이 AI 서비스를 더욱 정확하고 안전하게 운영할 수 있도록 돕겠다"고 강조했다.