"2분기 실적 날짜도 틀리던 AI"…웹케시는 어떻게 은행용 에이전트 바꿨나

"처음 인공지능(AI)을 도입하려고 테스트해 보니 2분기 실적을 물으면 잘못된 날짜 범위를 제시하고, 전월 대비 증감률에는 근거 없는 수치를 내놓아 은행 업무에 사용할 수 없는 수준이었습니다. 이를 극복하기 위해 별도의 학습과 통제 작업을 수행해야 했습니다."

조은미 웹케시 성장전략센터장은 7일 서울 코엑스에서 열린 'AI페스타26' 부대행사 퓨처테크컨퍼런스에서 G은행 경영정보 에이전트 구축 사례를 소개하며 이같이 말했다.

경영정보 에이전트는 은행 임직원이 자연어로 질문하면 정보계 데이터베이스(DB)에서 데이터를 찾아 답하는 AI 서비스다. 그동안 요청서 작성, 부서장 결재, IT 접수, 요건 확인, 쿼리 작성·추출, 데이터 검증, 반출 승인·전달, 보고서 작성 등 8단계를 거쳐야 했던 작업을 AI로 자동화해 업무 효율을 높이기 위한 것이다.

조 센터장은 "'예금상품별 신규 유치 실적과 목표 대비 달성률을 보고해줘' 같은 질문은 은행장부터 본부장, 지역본부장, 130여 명의 영업점 지점장까지 요청한다"며 "하지만 이런 요청 하나가 수많은 단계를 거쳐야 해 시간과 인력 낭비가 상당했다"고 설명했다.

웹케시는 자연어를 SQL로 바꾸는 NL2SQL 기술을 적용해 이를 해결하려 했다. 웹케시그룹 AI 전문기업 다큐브의 NL2SQL 엔진 '큐비(QUVI)'로 글로벌 벤치마크 '스파이더 2.0'의 라이트 부문(65.81점)과 스노우 부문(94.15점)에서 1위에 오른 바 있기 때문이다.

NL2SQL을 적용하는 것만으로 은행 업무에 필요한 정확성과 신뢰성을 확보하기는 어려웠다. 자연어 질문을 데이터 조회로 연결하는 과정에서 은행 고유의 용어와 업무 기준을 제대로 반영하지 못하면 잘못된 날짜 범위를 적용하거나 근거가 불분명한 수치를 답할 수 있기 때문이다.

조 센터장이 "초기 테스트 과정에서‘2분기 실적 날짜 범위를 잘못 잡고 전월 대비 증감률에 근거 없는 수치를 제시하기도 했다"며 "수치에 굉장히 민감한 은행에 이를 적용하기엔 많은 어려움이 있었다"고 회고했다.

웹케시는 이를 극복하기 위해 AI 역할을 나눴다. 날짜 해석은 32개 패턴을 적용한 규칙 기반 엔진이 처리하고 계산식을 만드는 역할과 실제 계산을 수행하는 AI 에이전트로 분리했다. 더불어 평잔, 평균잔액, 월평잔처럼 은행 용어를 이해시키기 위해 용어 317개를 정리하고 879개 데이터 컬럼을 업무 용어에 연결했다. 지표별 계산 방식도 128개 규칙으로 정의했다.

환각 현상을 없애기 위해 질문이 모호할 때는 AI가 추측하지 않고 되묻게 했다. 그는 "'전월 대비 증감 보여줘'라는 말만으로는 예금인지 대출인지, 금액인지 비율인지 알 수 없다"며 "기준점이 제시되지 않으면 AI가 바로 답하지 않고 반드시 되묻게 만든 결과 틀린 답변을 내놓지 않고 정확하게 답변하기 시작했다"고 설명했다.

답변의 정확성뿐 아니라 운영 안정성도 과제였다. 예금 잔액 테이블에 하루 약 2400만 건이 쌓이는 환경에서 데이터 조회에 최대 20분이 걸렸고, 대량 쿼리가 다른 업무에 영향을 줄 위험도 있었다. 웹케시는 대상 테이블에 따라 오라클 옵티마이저 힌트를 자동 적용해 조회 시간을 5초로 줄였다.

위험한 SQL을 실행 전에 걸러내는 장치도 마련했다. 조인 수와 조건절 복잡도, 집계 함수 사용 여부 등 SQL의 구조적 특징을 바탕으로 위험도를 예측하는 모델을 개발했다. 야간에 수집한 SQL 1만7천458건으로 학습한 결과, 4차 학습에서 오탐률 5% 기준 재현율 88%를 기록했다. 답변과 함께 기준일자·상품 조건 등 산출 근거를 보여주는 기능도 제공해 사용자가 SQL을 몰라도 결과를 확인할 수 있도록 했다.