'다중 AI 에이전트' 위협 현실로, 편의 좇다 통제 불능

사람 일을 알아서 처리해주던 AI 에이전트의 편리함이 '통제 불능'이라는 청구서로 돌아오고 있다. 여러 에이전트를 동시에 자율적으로 굴리는 다중 에이전트 방식이 퍼지면서, 개별 에이전트는 멀쩡한데 시스템 전체가 통제를 벗어나는 사고가 잇따르고 있다.

22일 이스라엘 사이버보안 업체 드림이 공개한 연구 결과에 따르면 지난 7월 초 나흘간 AI 에이전트들이 타이완 정부 시스템 21개를 훑고 계정 85개를 뚫어 인사 기록 2500건 이상을 빼냈다. 최대 8개 에이전트가 오픈소스 프레임워크인 헤르메스와 오픈클로를 기반으로 취약점을 찾았고, 초기 접근이 방어에 막히자 스스로 전술을 바꿔가며 파고들었다. 사람이 일일이 지시하지 않아도 에이전트끼리 결과를 주고받으며 다음 공격을 다듬었다.

이런 위험은 통제된 실험에서도 확인됐다. 상하이 인공지능연구원 등 중국 연구진은 2024년 8월 자연어처리 분야 학회인 전산언어학회(ACL)에서 '사이세이프(PsySafe)'라는 실험 결과를 발표했다. 여러 에이전트로 짜인 시스템에 '위험한 성향'을 지닌 에이전트를 하나 심고 그 행동이 집단으로 번지는지 측정한 연구다. 그 결과 특정 조건에서는 안전한 과업인데도 위험 행동 확산율이 98~100%에 이르렀다. 공격받은 에이전트 하나가 시스템 전체를 위험에 빠뜨렸다. 위험이 첫 지시가 아니라 에이전트들이 주고받는 대화를 거쳐 생겨나는 탓에 입력을 걸러내는 기존 안전장치도 대부분 무력화됐다.

박지환 씽크포비엘 대표는 "다중 에이전트 위험은 똑똑한 개별 에이전트가 질서 없이 동시에 작업을 해 발생한다"고 말했다. (사진=씽크포비엘)

이 같은 위험 근원으로는 개별 에이전트의 성능이 아니라 이들을 묶는 '질서' 부재가 꼽힌다.

박지환 씽크포비엘 대표는 "다중 에이전트 위험은 똑똑한 개별 에이전트가 질서 없이 동시에 작업을 해 발생한다"며 "각 에이전트가 각자 추구하는 우선순위가 다른데, 그 순위가 부딪힐 때 위협이 될 수 있다"고 분석했다.

또 그는 병원 응급실 자동화 사례를 예로 들며 "대기 시간을 줄이는 에이전트와 의료진 과로를 막는 에이전트가 각자 목표만 놓고 보면 합리적으로 움직이지만 전체 우선순위와 질서가 없는 상태에서 동시에 작동하면 결과적으로 환자가 더 위험해질 수 있다"고 말했다. 이어 "개별 에이전트는 시킨 일을 충실히 해내는 '모범생'이어도 질서 없이 뭉치는 순간 누구도 의도하지 않은 결과가 나온다"고 덧붙였다.

이 진단은 학계 연구에서도 나왔다. 호주 그래디언트연구소는 지난해 7월 다중 에이전트 위험 분석 보고서를 발표하며 "안전한 에이전트들의 집합이 곧 안전한 에이전트 집합을 의미하지는 않는다"고 지적했다. 통합된 감독과 정렬된 목표 아래에서도 다중 에이전트 시스템은 연쇄 오류와 조율 실패, 의도치 않은 집단 행동을 드러낼 수 있다고 했다.

보고서는 다중 에이전트가 개별 에이전트의 위험을 단순히 더하는 게 아니라 변형시킨다고 봤다. 인지적 한계는 연쇄 환각으로, 통신 오류는 시스템 전반의 조율 실패로, 개별 편향은 강화 작용을 거쳐 집단적 맹점으로 증폭될 수 있다고 설명했다.