MS "해킹 안 당한 AI도 위험"…내부 에이전트 통제 강조

'에이전틱 내부자' 개념 제시…가디언 AI로 행동 감시·위험별 권한 조정

마이크로소프트(MS)가 기업 내부에 배포한 인공지능(AI) 에이전트도 잠재적인 보안 위협이 될 수 있다며 지속적인 감독과 통제가 필요하다고 강조했다. 외부 공격을 받지 않은 AI라도 목표를 달성하는 과정에서 의도와 다르게 행동할 수 있다는 이유에서다.

마이크로소프트는 기업 데이터와 시스템에 접근해 업무를 수행하는 AI 에이전트를 '에이전틱 내부자'로 규정하고 새로운 보안 접근법을 제시했다고 20일 밝혔다.

기존 AI 보안은 공격자가 AI 모델을 악용하는 외부 위협에 주로 초점을 맞췄다. 반면 기업 내부에서 운영하는 AI 에이전트는 조직이 직접 배포했다는 이유로 충분한 검증 없이 신뢰하는 경우가 많았다.

(사진=마이크로소프트)

마이크로소프트는 AI 모델이 악의적이지 않더라도 목표 달성을 위해 의도하지 않은 수단을 선택하는 '보상 해킹'이 발생할 수 있다고 지적했다. 다른 에이전트와 협업하는 과정에서 예상치 못한 위험이 발생할 가능성도 제기했다.

이에 따라 에이전트의 행동과 위험 수준을 실시간으로 파악하고 상황에 따라 접근 권한을 조정하는 지속적인 보안 체계가 필요하다고 강조했다.

구체적인 대응 방안으로는 지난 7월 발표한 에이전틱 보안 시스템 '프로젝트 퍼셉션'을 제시했다. AI의 예측하기 어려운 행동에 사전에 정의한 보안 정책과 통제 원칙을 적용하는 방식이다.

프로젝트 퍼셉션은 기업 내부 에이전트를 탐지하고 위험을 분석해 대응하는 세 단계로 구성된다. 먼저 ID와 데이터, 클라우드, 네트워크 등에서 수집한 정보를 결합해 에이전트를 식별하고 권한을 부여한다.

이후 에이전트가 시도하는 행동의 위험도를 동적으로 산정한다. '가디언 에이전트'는 이를 토대로 다른 에이전트의 행동을 지속적으로 감독하고 위험 수준이 높아지면 실시간으로 대응한다.

마이크로소프트는 에이전트의 행동뿐 아니라 행동이 발생한 원인까지 추적할 수 있어야 한다고 강조했다. 향후에는 모델의 입력·출력과 추론 과정에 대한 투명성을 높여 에이전트의 행동이 본래 업무 목적에 부합하는지도 확인해야 한다는 설명이다.

하예테 갈로트 마이크로소프트 시큐리티 총괄 수석부사장은 "AI 에이전트가 기업 전반에 빠르게 확산되면서 데이터와 도구, 시스템에 접근해 중요한 업무를 수행하고 의사결정에도 관여하고 있다"며 "기업은 에이전트의 활동과 위험을 실시간으로 파악하고 위험 변화에 따라 행동 권한을 지속적으로 조정해야 한다"고 말했다.