한국딥러닝·IBK기업은행, 보이스피싱 피해구제 서류 처리시간 88% 단축

VLM 기반 AI 에이전트 실증 완료…문서 인식부터 범죄 유형 분석까지 자동화

한국딥러닝(대표 김지현)이 IBK기업은행과 비전언어모델(VLM) 기반 인공지능(AI) 에이전트를 활용해 보이스피싱 피해구제 업무를 자동화하는 기술을 검증했다. 

기존 수작업으로 진행하던 서류 처리시간을 88% 줄이고 문서 인식 정확도도 개선했다.

한국딥러닝은 IBK기업은행 금융소비자지원부와 공동으로 보이스피싱 피해구제 업무 자동화 실증을 완료했다고 30일 밝혔다.

한국딥러닝·IBK기업은행, 금융권 최초 VLM 기반 보이스피싱 피해구제 업무 자동화 구현(이미지=한국딥러닝)

이번 실증은 지난 4월부터 8월까지 진행됐다. 보이스피싱 피해구제 과정에서 팩스로 접수되는 신청서와 신분증 등을 AI가 분석하고 필요한 정보를 추출해 담당자의 업무 부담을 줄이는 것이 목적이다.

기존에는 은행 직원이 접수된 서류를 일일이 확인하고 관련 정보를 시스템에 입력해야 했다. 이 때문에 서류 처리에 상당한 시간이 소요돼 신속한 피해 대응에 어려움이 있었다.

양사는 한국딥러닝의 금융 특화 AI 에이전트 '딥 에이전트 포 파이낸스(DEEP Agent for Finance)'를 활용해 업무 자동화 시스템을 구축했다.

이 시스템은 문서의 종류를 구분하고 주요 정보를 추출하는 데 그치지 않고 서류 내용을 분석해 범죄 유형까지 추론한다. 기존 광학문자인식(OCR) 기술이 문자 추출에 집중했다면 VLM을 활용해 문서의 시각적 정보와 문맥까지 분석하도록 기능을 확장한 것이다.

실증 결과 서류 처리시간은 기존보다 88% 감소했다. 인쇄체 인식 정확도는 100%, 필기체는 97% 이상을 기록했다. 문서 분류와 범죄 유형 추론에서도 실증 평가 기준 100%의 정확도를 달성했다. 일부 정보 추출 항목에서는 기존 AI-OCR 대비 정확도가 최대 20.4%포인트 높아졌다.

한국딥러닝은 AI-OCR과 VLM의 분석 결과를 교차 검증하고, 결과의 신뢰도에 따라 자동 처리하거나 담당자가 직접 확인하도록 시스템을 설계했다. 최종 판단은 은행 직원이 수행하는 구조다.

또한 외부 클라우드에 금융 정보를 전송하지 않고 은행 내부망에서 운영할 수 있도록 온프레미스 환경을 적용했다. 한국딥러닝은 VLM 엔진 개선부터 문서 처리 시스템, 검수 대시보드 구축과 성능 검증까지 기술 개발을 담당했다.

이번 과제는 재정경제부와 과학기술정보통신부가 주최한 '2026 공공기관 AI혁신 챌린지' AI 서비스 실증(PoC) 부문에서 우수상에 선정됐다. IBK기업은행은 해당 성과로 장관상을 수상했다.

IBK기업은행은 실증 결과를 바탕으로 내년 상반기 중 해당 기술을 실제 피해구제 업무에 적용할 계획이다. 한국딥러닝도 금융기관과 공공기관을 대상으로 문서 처리 자동화 사업을 확대할 방침이다.

IBK기업은행 금융소비자지원부 관계자는 "보이스피싱 피해구제는 신속한 대응이 핵심이지만, 기존에는 서류 처리에만 많은 시간이 소요됐다"며 "이번 실증을 통해 이를 획기적으로 단축해, 피해구제에 필요한 대응 시간을 확보하고 금융소비자 보호를 강화할 가능성을 확인했다"고 말했다.

김지현 한국딥러닝 대표는 "이번 실증은 VLM 기반 AI 에이전트가 피해 대응에 필요한 시간을 확보하는 데 기여할 수 있음을 보여줬다"며 "앞으로 금융기관의 반복 업무를 자동화해 운영비용을 낮추고 금융소비자 보호에 더 많은 시간과 인력을 투입할 수 있는 환경을 만들겠다"고 밝혔다.