AI가 AI를 검증한다…금융권 새 인프라 된 '신뢰성 평가'

지능화된 인공지능(AI)이 일상의 모든 영역을 파고드는 대전환의 시대, 기술의 화려한 도약만큼이나 시급한 과제는 바로 그 이면에 자리한 ‘디지털 신뢰’를 단단히 구축하는 일입니다. 지디넷코리아는 "AI 기술이 서 말이라도 보안으로 꿰어야 보배"라는 슬로건 아래, 약 두 달간 '2026 디지털 트러스트' 연중 기획 연재 및 캠페인을 진행합니다. 해킹·딥페이크·가짜뉴스·랜섬웨어 등 진화하는 보안 위협 속에서 단순한 기술 편익을 넘어 '안전한 AI 생태계'를 조성하기 위한 공론의 장을 마련하고, 기술과 보안이 공존하는 지속 가능한 디지털 미래의 이정표를 제시하고자 합니다. [편집자주]

금융당국의 망분리 규제 완화 이후 금융권의 생성형 AI 도입이 빠르게 확산되면서 AI 신뢰 검증이 새로운 보안 과제로 급부상하고 있다. 단순히 AI를 도입하는 데서 나아가 그 AI가 제대로 작동하는지 검증하는 체계를 갖추느냐가 금융권 AI 경쟁력의 새 기준이 되고 있다는 분석이다.

이런 흐름을 더 가속하는 건 AI 기반 위협의 등장이다. 앤트로픽이 최근 선보인 사이버보안 특화 AI 모델 '미토스'는 AI가 스스로 시스템 취약점을 탐색하고 공격 시나리오까지 생성할 수 있다는 점에서 기존 보안 체계만으로는 대응이 어렵다는 위기감이 금융권 전반에 확산되고 있다. 이런 가운데 AI 신뢰성 검증 체계를 실제 금융 현장에 상용화한 사례가 나왔다.

셀렉트스타의 생성형 AI 신뢰성 검증 자동화 솔루션 '다투모 이밸(DATUMO eval)' 구동 예시 이미지 (사진=셀렉트스타)

18일 업계에 따르면 셀렉트스타의 생성형 AI 신뢰성 검증 자동화 솔루션 '다투모 이밸(DATUMO eval)'이 신한은행·우리은행·NH농협은행 등 주요 시중은행에 정식 도입됐다. 이는 국내 생성형 AI 신뢰성 검증 자동화 솔루션이 기술검증(PoC) 단계를 넘어 금융권 실제 운영 단계에 적용된 첫 사례로 평가된다.

AI가 실제 업무를 수행하는 'AI 에이전트' 단계로 진화하면서 검증 필요성은 더 커지고 있다. 최근 금융권에서는 대출 심사 보조, 이상거래 탐지, 고객 응대 자동화 등 핵심 업무에 생성형 AI 적용이 확대되고 있다. AI 활용 범위가 넓어질수록 잘못된 판단이나 비정상 응답이 실제 금융 사고나 고객 피해로 이어질 수 있다는 우려도 나온다.

그러나 생성형 AI 서비스 확산과 함께 기존 수작업 중심 검증 체계는 한계를 드러내고 있다. 그동안은 사람이 직접 평가 질문을 설계하고 AI 응답을 검수하는 방식이 일반적이었지만, 서비스 수와 활용 시나리오가 빠르게 늘어나면서 속도와 규모 측면에서 대응이 어려워졌기 때문이다. 업계에서 지금을 'AI 신뢰 검증의 골든타임'으로 보는 이유도 여기에 있다.

AI 신뢰성 평가 자동화 시장도 발 빠르게 성장하고 있다. 해외에서는 랭체인, 어라이즈AI, 스케일AI 등이 관련 솔루션을 선보이고 있지만 금융 특화 규제 환경과 한국어 도메인을 반영한 서비스는 제한적이었다. 특히 금융권은 높은 정확성과 안정성이 요구되는 만큼 실제 업무 환경을 반영한 평가 체계 수요가 빠르게 커지고 있다는 분석이다.

셀렉트스타는 이런 시장 공백을 겨냥해 국내 최초 생성형 AI 신뢰성 검증 자동화 솔루션 '다투모 이밸'을 출시했다. 다투모 이밸은 100만 개 이상의 평가 질문을 자동 생성하고 AI 서비스 응답을 자동 평가·분석하는 기능을 핵심으로 한다. AI 에이전트 기술 기반으로 생성된 질문은 실제 고객 발화 패턴과 난이도, 금융 도메인 특성을 반영하도록 설계됐으며 프롬프트 인젝션과 환각 등 AI 취약점을 사전에 탐지하는 레드티밍 기능도 포함됐다.

신한은행의 경우 금융 문서 이해 AI 모델 개발을 위한 데이터 구조화, 학습·평가용 데이터셋 설계, 평가 지표 관리 및 자동 평가 환경 구축까지 다투모 이밸이 포괄적으로 적용됐다. 이 같은 실적은 신한금융·KB금융·삼성금융 등 국내 주요 금융그룹 스타트업 프로그램 연속 수상으로도 이어졌다.