"'인다이렉트 인젝션' 해커 공격, 듀얼 LLM으로 방어 가능"

'이병영 서울대 전기정보공학부 교수는 7일 에임인텔리전스가 개최한 'AI 리스크 컨퍼런스 서울 2026'에서 "듀얼 LLM'을 활용하면 해커의 '인다이렉트 인젝션' 공격을 효과적으로 방어할 수 있다"고 밝혔다. 이날 이 교수는 '듀얼 LLM을 활용한 에이전트 보호'를 주제로 발표했다.

'듀얼 LLM'은 LLM이 사용자 의도에서 벗어난 명령을 수행하도록 유도하는 공격, 즉 '프롬프트 인젝션' 공격을 방어하기 위한 기술이다. 작동 원리는 LLM을 하나로 운영하는 것이 아니라 두 LLM을 격리해 운영하는 식이다. 사용자가 명령을 입력하는 LLM은 '신뢰할 수 있는 LLM(Trusted LLM)'에서 운영하고, LLM이 명령 수행을 위해 외부 웹이나 애플리케이션에 접근할 때에는 격리된 LLM에서 작업을 수행토록 한 구조다.

이 교수는 "프롬프트 인젝션 공격은 크게 두 가지로 나뉜다. LLM의 가드레일을 우회할 수 있는 '다이렉트 인젝션'과 공격자가 외부 데이터를 조정해서 사용자가 시키지 않은 일을 하게 만드는 '인다이렉트 인젝션' 공격 등이다"라며 "'인다이렉트 인젝션' 공격에서 LLM이 취약한 이유는 유저 프롬프트와 공격자의 컨텍스트가 섞인다는 것"이라고 설명했다.

그는 이어 "듀얼 LLM 기술을 적용하면 인다이렉트 인젝션 공격을 효과적으로 방어할 수 있다"며 "예를 들어 공격자가 외부 데이터를 조정해 모든 데이터를 삭제하라는 명령어를 입력해 놓았다고 가정하면, 기존의 방식대로 LLM을 사용하면 이같은 위협에 노출될 수밖에 없다. 반면 외부와 접촉하는 LLM이 샌드박스에서 리소스 권한이 주어지지 않은 격리된 환경에서 작동하고, 사용자가 명령을 입력하고 입력값을 받는 신뢰받을 수 있는 LLM에는 결과값을 보안에 영향을 주지 않은 값으로 제공하는 식이다"라고 밝혔다.

이 교수는 이날 실제 오픈클로에 이같은 듀얼 LLM 기술을 적용한 결과 공격 성공률은 0%, LLM 효율은 81.6%로 나타났다"며 "이는 베이스라인 LLM을 사용했을 때 효율과 비슷하다"고 말했다.

그는 "LLM은 명령 수행 시 외부 데이터 없이 작동할 수 없다"며 "LLM 및 AI 에이전트의 안전한 외부 데이터 접근을 어떻게 관리할 것인지 주목해야 할 때"라고 강조했다.

"금융권, AI 보안 위협 대응 위해 6대 보안 수칙 지켜라"

김성웅 금융보안원 AI보안연구소장도 세션 발표에 나서 "AI발 자동화된 대규모 공격 위협은 우리 금융 산업에도 현실화됐다"고 지적했다.

김 소장은 "앤트로픽 미토스 등 프론티어 AI 모델은 시스템의 취약점을 탐색하고 공격까지도 가능하게 만들어졌다"며 "이같은 보안 위협은 현재 일부 업무나 시스템이 마비되고 제한적인 정보가 유출되는 국지적 사고에 머물겠지만 조만간 핵심 자금결제 시스템이 마비되거나 디지털 뱅크런과 같은 금융 시스템 자체가 흔들리는 대규모 보안사고로 이어질 가능성이 매우 높다"고 우려했다.

김 소장은 실제 다수 금융기관을 대상으로 AI 기반 공격을 수행한 사례를 소개했다. 금융보안원에 따르면 공격자는 딥시크 기반 AI 에이전트를 활용해 금융권 웹로직을 스캔, RCE(원격 코드 실행) 취약점을 통해 웹셀을 설치한 정황을 포착했다. 금융보안원은 이를 포착해 추가 악승코드가 내부 시스템으로 확산되지는 않았으나, 이를 AI 에이전트를 활용한 최초 공격 사례로 지목했다.

김성웅 금융보안원 AI보안연구소장이 7일 에임인텔리전스가 개최한 'AI 리스크 컨퍼런스 서울 2026'에서 세션 발표를 하고 있다.

김 소장은 "기존 공격 양상이 한 곳을 집중 공격하는 표적형이거나 넓은 범위 대상의 공격 가능성을 탐색하는 스캔형이었다면, 이번 공격은 AI 에이전트를 활용한 표정형 공격을 넓은 범위에 적용하는 사례였다"고 진단했다.

아울러 김 소장은 이날 금융보안원이 지난 7월 발표한 '프론티어 AI 보안 위협 금융분야 대응 요령'의 세부 내용을 기반으로 AI발 위협에 대응해야 한다고 강조했다. '프론티어 AI 보안 위협 금융분야 대응 요령'에서는 AI 보안 위협에 대응해 ▲경영진 책임 강화 ▲자산 및 공급망 관리 강화 ▲취약점 및 패치 관리 ▲AI 기반 방어 자동화 ▲침해 확산 방지 ▲시스템 복원력 강화 등을 주문하고 있다.