셀렉트스타, 금융 AI 위험 답변 평가 기술 개발…국제학회 논문 채택

금융 전문가 판단 일치율 88.46% 기록…금융보안원 규제 샌드박스 활용 추진

금융 인공지능(AI)이 사기를 돕거나 규정을 위반하는 답변을 내놓는지 가려내는 국내 기술이 국제학회에서 연구 성과를 인정받았다. 금융 전문가의 판단을 반영해 위험한 답변을 찾아내는 정확도를 높인 기술이다.

AI 데이터·신뢰성 평가 기업 셀렉트스타는 금융 AI 안전성 평가 기술 '핀레드(FinRED)' 연구 논문이 국제 데이터 마이닝 학술대회 'IEEE ICDM 2026' 메인 컨퍼런스에 채택됐다고 5일 밝혔다. 자체 평가에서 금융보안 전문가와 AI 평가 결과의 일치율은 88.46%로, 기존 방식보다 11.54%포인트 높았다.

이번 연구는 셀렉트스타가 금융보안원, 카이스트와 공동으로 수행했다. 금융 분야에 특화된 위험 상황을 만들어 AI에 질문하고, 답변이 금융사기나 규제 위반 등 위험한 행동을 돕는지 평가하는 기술을 개발했다.

금융 AI 안전성 평가 프레임워크 'FinRED'의 기술 구성도. 금융 위험 시나리오 생성부터 전문가 기반 평가 기준 수립, AI 모델의 안전성 검증까지의 과정을 나타낸다. (이미지=셀렉트스타)

연구진은 기존 AI 안전성 평가가 금융업의 복잡한 규제와 업무 환경을 충분히 반영하지 못한다는 점에 주목했다.

일반적인 AI 안전성 평가는 폭력이나 불법 행위 등 폭넓은 위험을 다룬다. 반면 금융 AI는 금융사기를 돕거나 소비자에게 잘못된 정보를 제공하고 개인정보를 노출하는 등 금융업에 특화된 위험도 점검해야 한다.

셀렉트스타가 개발한 핀레드는 금융보안 전문가의 지식과 실제 금융 문서를 활용해 이러한 위험을 평가한다. AI가 단순히 위험한 질문에 답변을 거부했는지 확인하는 데 그치지 않고, 답변 내용이 실제 위험한 행위를 지원하는지도 판단한다.

연구진은 금융 분야 위험을 사이버 위협, 금융 범죄, 허위정보와 기만, 소비자 권익 침해, 금융 정보통신기술(ICT) 규제 회피 등 5개 영역으로 나눴다. 이를 다시 26개 세부 유형으로 분류하고 전문가 검증을 거친 평가 데이터 5805개를 구축했다.

이 데이터를 활용하면 금융 AI가 실제 업무에서 마주할 수 있는 위험 상황을 가정해 안전성을 점검할 수 있다. 금융 범죄 수법이나 관련 규제가 바뀌면 새로운 문서를 반영해 평가 항목을 추가하도록 설계했다.

성능 평가에서도 기존 방식과 차이를 보였다. 핀레드 금융 특화 평가 기준은 금융보안 전문가와의 판단 일치율이 88.46%를 기록했다. 기존 범용 평가 방식의 76.92%보다 11.54%포인트 높았다.

위험한 AI 답변을 안전하다고 잘못 판단하는 사례도 줄었다. 연구진의 비교 시험에서는 이러한 오류가 기존 28건에서 12건으로 감소했다. 약 57% 줄어든 수치로, 금융 분야 특성을 반영한 평가 기준이 위험한 답변을 놓치는 문제를 개선한 결과다.

다만 이번 수치는 연구진이 구성한 평가 환경에서 얻은 결과다. 모든 금융 AI 서비스에서 동일한 수준으로 위험한 답변을 찾아낼 수 있다는 의미는 아니다.

셀렉트스타는 핀레드를 실제 금융 AI 안전성 검증에도 활용할 계획이다. 향후 금융보안원이 운영하는 규제 샌드박스에서 금융 서비스에 적용되는 생성형 AI의 보안성을 평가하는 데 사용할 예정이다.

은행과 보험사, 증권사 등은 AI 상담 서비스를 도입하기 전에 금융 업무와 규정에 맞춘 위험 질문으로 취약점을 점검할 수 있다. AI 답변을 제한하는 안전장치를 적용한 뒤 실제로 위험이 줄었는지 확인하는 데도 활용할 수 있다.

셀렉트스타는 이러한 평가 기술을 바탕으로 금융권 AI 안전성 검증과 레드티밍 사업을 확대할 방침이다. 레드티밍은 AI에 의도적으로 위험한 질문이나 공격을 시도해 취약점을 찾아내는 시험 방식이다.

이번 논문은 국제학회에서도 구두 발표 대상으로 선정됐다. IEEE ICDM 2026에는 총 1966편의 논문이 제출돼 392편이 채택됐다. 채택률은 19.9%다. 셀렉트스타 논문은 전체 투고 논문 가운데 약 8.9%인 174편에 주어지는 구두 발표 논문으로 선정됐다.

학회는 오는 12일부터 15일까지 중국 선양에서 열린다. 셀렉트스타 연구진은 13일 보안과 의료 등 응용 분야를 다루는 세션에서 연구 성과를 발표할 예정이다.

셀렉트스타는 올해 국제 AI 학술대회인 ICLR과 ACL, ICML, EMNLP에서도 AI 신뢰성·안전성 연구 성과를 발표하며 관련 기술을 개발해 왔다. 자체 AI 평가 플랫폼 '다투모 이밸(Datumo eval)'을 통해 금융과 공공, 콘텐츠 분야에도 안전성 평가 서비스를 제공하고 있다.

논문 교신저자인 김민우 셀렉트스타 AI 세이프티팀 리더는 "금융 범죄 수법과 규제는 끊임없이 바뀌기 때문에 한 번 만들어 둔 평가 데이터로 AI의 안전성을 판단하는 것은 작년 기출문제로 올해 시험을 치르는 것과 같다"고 말했다.