"금융권, AI 더 확산되기 전에 보안 체계 갖춰야"

송은지 금보원 수석 'FISCON 2025'서 발표…"아직 백오피스에서만 활용...선제 파악 취약점 조치해야"

인공지능(AI) 모델에 대한 공격자 관점의 보안 위협 분석이 중요하다는 제언이 나왔다. AI 모델 공격은 시스템 조작을 통해 시장을 왜곡하거나 공공 시스템 전체를 위협할 수 있기 때문이다.

송은지 금융보안원 수석은 20일 개최된 국내 최대 금융 정보보호 컨퍼런스인 'FISCON 2025'에서 이같은 내용을 중심으로 한 세션 발표를 진행했다. 이날 송 수석은 '금융분야 AI 레드티밍 동향과 미래'를 주제로 발표했다.

송은지 금융보안원 수석이 발표하고 있다.

보안업계에 따르면 레드티밍, 즉 레드팀은 공격자 관점에서 기업이나 기관의 취약점이나 미흡한 보안 사항을 선제적으로 찾아내 조치할 수 있도록 알려주는 역할을 한다. 송 수석은 기업이나 기관의 취약점이 아니라 AI 시스템에도 이같은 공격자 관점의 취약점 분석이 필요하다고 강조했다.

그는 "금융권에서 AI는 이미 핵심 의사결정에 깊이 관여하고, 그 결정 하나하나가 고객의 자산과 부결된다"며 "특히 금융산업의 특성상 잘못된 투자 조언이나 사기, 펀드 시스템 오작동 등은 개인 자산 손실로도 이어질 수 있고, AI 챗봇의 오작동은 금융회사의 실패로 이어져 그 파장도 더욱 크다"고 진단했다.

이에 송 수석은 "아직 금융권에서 AI를 백오피스에서만 활용하는 수준으로 도입하고 있는 만큼 AI가 제한된 서비스에 머무르는 동안 보안 체계를 구축하고, 조직의 대응 능력을 향상해야 한다"며 "AI가 핵심 금융 서비스 전반으로 확대된 후에 보안 체계를 갖추기엔 너무 늦었다"고 지적했다.

따라서 "AI 모델에 대한 공격 시도들이 정교화되고 있는 만큼 어떤 공격 유형이 있는지 선제적으로 파악하고, 취약점을 조치할 수 있어야 한다"고 역설했다.

한편 송 수석은 이날 AI 시스템을 대상으로 한 주요 공격 기법 등에 대해 소개하고, 대응 전략에 대해서도 구체적으로 설명하는 시간을 가졌다.