AI 에이전트, 해커 공격 '회사 지시'로 착각…90% 뚫렸다

데프콘서 신종 공격 '고스트재킹' 시연, 클로드 코드 10번 중 9번 해커 지시 수행

AI 에이전트가 해커 사이버 공격을 회사 지시로 착각해, 시스템을 공격자 뜻대로 바꿔준 사례가 공개됐다.

26일(현지시간) 미국 IT 매체 벤처비트에 따르면, 보안업체 테넷 시큐리티는 해킹 컨퍼런스 데프콘 34에서 '고스트재킹'이라는 공격 기법을 시연했다. AI 에이전트가 보안 기록에 남은 공격자 문구를 명령으로 인식해 회사의 도메인 주소 설정을 바꾸는 방식이다.

실험은 앤트로픽 코딩 도구 '클로드 코드'로 진행했다. 그 결과 AI는 90% 확률로 공격자가 심은 명령을 그대로 수행했다.

AI 에이전트가 해커 사이버 공격을 회사 지시로 착각해 보안이 뚫리는 사례가 해킹 컨퍼런스 데프콘 34에서 공개됐다. (사진=제미나이)

공격은 보안 시스템이 걸러낸 공격 문구를 AI 에이전트가 회사의 명령으로 잘못 읽으면서 이뤄졌다. 먼저 공격자가 웹사이트 보안 서비스 클라우드플레어에 악성 문구가 담긴 요청을 보냈다. 보안 시스템은 이를 정상적으로 걸러냈지만 걸러낸 문구는 보안 기록에 그대로 남았다. 이후 이 기록을 검토하던 AI 에이전트가 회사 지시와 공격자가 심은 문구를 구분하지 못했고 몇 달 전 회사가 내준 권한으로 공격자가 심은 내용을 그대로 실행했다.

이 공격은 기존 보안 체계에 걸리지 않는다. 보안 시스템은 정상 작동했고 이후 조작은 모두 에이전트가 이미 부여받은 정당한 권한으로 이뤄졌기 때문이다. 침입 탐지 시스템과 웹 방화벽, 계정 관리 시스템도 반응하지 않았다. 위반된 보안 규칙이 없어서다. 테넷은 이 같은 취약 구조가 노출된 정황을 48개 조직에서 확인했다고 밝혔다. 이 가운데 6곳은 포춘 500대 기업이었다.

AI 에이전트 사이버 위협은 지속 커지고 있다. 오와스프(OWASP)가 지난 4일 발표한 '2026 거대언어모델(LLM) 애플리케이션 10대 위협'에서 'AI에 과도한 자율권을 부여하는 문제'는 지난해 6위에서 3위로 올랐다. 에이전트 도입 현장에서 관련 사고가 늘어난 결과다. OWASP는 취약점 표준을 만드는 국제단체다.

스티브 윌슨 OWASP LLM 부문 공동책임자는 "가장 먼저 할 일은 모델 바깥에 인가 관문을 두는 것"이라며 "에이전트가 도메인 주소 변경을 제안할 수는 있어도 스스로 실행할 권한까지 가져선 안 된다"고 밝혔다.

박지환 씽크포비엘 대표는 "AI가 추천하고 사람이 결정하면 올바른 판단이라고 착각하는 것이 가장 위험하다"고 지적했다. 이어 "보안은 출입문 앞에서 끝나지만 AI 신뢰성은 그 문을 열어준 순간부터 시작된다"며 "AI가 대안을 제시하더라도 실행 권한은 사람이 쥐고 있어야 한다"고 조언했다.