"기업들은 인공지능(AI) 에이전트가 어떤 행동을 수행하는지 파악하고 보안 통제가 실제로 작동한다는 사실을 입증할 수 있어야 합니다."
자이 A. 싱글라 카팔린스(Kapālins) 최고기술책임자(CTO)는 최근 지디넷코리아와 진행한 화상 인터뷰에서 한국 AI 기본법 시행에 따른 기업 대응 과제로 AI 에이전트 행동 통제와 보안 체계 실효성 검증을 강조했다. AI가 기업 시스템에 직접 접근해 업무를 수행하는 만큼 기존 챗봇과는 다른 보안 관리가 필요하다는 진단이다.
카팔린스는 호주 멜버른에 본사를 둔 기업용 AI 보안·거버넌스 기업이다. 금융·보험·의료·통신·공공 분야 등을 대상으로 AI 도구 식별부터 위험 행동 차단, 규제 준수 증빙까지 지원한다.
최근에는 앤트로픽 '클로드 엔터프라이즈'와 연동해 프롬프트 인젝션과 민감정보 유출, AI 에이전트의 위험한 작업을 사전에 차단하고 보안 설정 변경을 감지하는 기능도 선보였다.
"챗봇은 답하지만 AI 에이전트는 행동한다"
싱글라 CTO는 기존 챗봇과 AI 에이전트의 가장 큰 차이로 실제 행동에 따른 위험을 꼽았다. 챗봇은 잘못된 답변을 생성하는 데 그칠 수 있지만 에이전트는 부여받은 권한으로 기업 시스템에 접근해 작업을 실행하기 때문이다.
그는 "챗봇은 잘못된 답변을 제공하지만 AI 에이전트는 잘못된 행동을 수행할 수 있다"며 "실제 접근 권한을 가진 에이전트가 사람 검토 없이 빠른 속도로 움직인다는 점이 문제"라고 말했다.
실제 고객사에서도 관리 사각지대가 발견됐다. 카팔린스에 따르면 한 보험사는 공식으로 사용하는 AI 도구 외에 직원들이 별도로 활용하던 도구 12개가 추가로 확인됐다. 보험금 청구와 인수 심사, 고객 응대 등에 활용되는 에이전트 행동도 충분히 파악하지 못하고 있었다.
문서나 이메일에 숨겨진 악성 명령이 에이전트 행동을 유도하는 프롬프트 인젝션도 주요 위협으로 지목됐다. 승인 이후 도구나 보안 설정이 변경되는 위험과 에이전트 간 통신·권한 관리의 사각지대도 경계해야 한다는 설명이다.
싱글라 CTO는 한국 기업에 세 가지 대응책을 권고했다. 운영 중인 모든 에이전트와 연결 도구, 모델 컨텍스트 프로토콜(MCP) 서버 및 접근 권한을 파악하고 결제·고객정보 등 민감한 작업에는 사람 승인을 거쳐야 한다는 것이다. 보안 통제 기능이 비활성화됐을 때 얼마나 빨리 탐지하는지도 점검해야 한다고 덧붙였다.
그는 "가장 흔한 실패는 정교한 공격이 아니라 누군가 보안 통제를 꺼놓았다는 사실을 발견하지 못하는 것"이라며 "다음 감사 때까지 이를 알아채지 못한다면 심각한 문제"라고 지적했다.
"AI기본법 대응, 정책만으론 부족…통제 증빙 갖춰야"
싱글라 CTO는 한국 AI기본법 규제 체계를 긍정적으로 평가했다. 투명성 확보와 고영향 AI 관리, 영향평가 관련 조항에 대해서는 기업이 보안 정책 수립에 그치지 않고 실제 통제 여부를 입증해야 한다고 강조했다.
그는 "한국 정부가 AI기본법을 매우 잘 설계했다고 생각한다"며 "앞으로 일부 개정도 이뤄질 것"이라고 전망했다.
카팔린스는 한국 AI기본법 관련 의무를 플랫폼 규제 준수 점검 항목에 반영했다. 기업이 AI 운영 정책을 등록하면 법률 조항과 연결된 관리 항목을 확인하고 보완이 필요한 정책과 증빙 자료를 관리하는 방식이다. 보안 통제 적용 이력과 점검 결과를 기록해 규제 대응에 활용할 수 있도록 지원한다.
관리 범위는 한국과 미국, 호주, 유럽연합(EU), 일본, 싱가포르, 인도, 중동 주요국 등 15개 관할권에 걸쳐 있다. 한국 AI기본법은 물론 EU AI법, 국제표준 ISO/IEC 42001 등 42개 규제·보안 프레임워크를 관리한다.
관련기사
싱글라 CTO는 "각국 규제기관 법령·지침 변경 여부를 15분마다 확인한다"며 "새로운 개정 사항이 나오면 플랫폼에 반영하고 승인 절차를 거쳐 적용한다"고 부연했다.
한국 시장 진출은 아직 본격화되지 않았다. 카팔린스는 국내 고객사나 파트너를 확보하지 못했지만 금융·보험업계를 중심으로 협력 기회를 모색하고 있다. 싱글라 CTO는 현지 파트너와의 협력에 관심을 나타내면서도 "구체적인 일정은 제시하기 어렵다"고 밝혔다.
