AI가 AI를 해킹한다…성공률 93% 'J2 공격' 등장

AI가 AI를 공격하는 J2 기법, 약 93%의 놀라운 성공률 달성

AI 학습데이터 제공 기업 스케일AI(Scale AI)의 연구에 따르면, 대형 언어모델(LLM)의 보안 시스템을 우회하기 위한 새로운 공격 방식이 발견됐다. 연구진은 한 AI 모델이 다른 AI 모델을 해킹하도록 유도하는 'J2(제이투)' 방식을 개발했다. 클로드 3.5(Claude-3.5)와 제미니 1.5 프로(Gemini-1.5-pro)는 GPT-4o를 대상으로 각각 93.0%와 91.0%의 공격 성공률을 보였다. 특히 두 모델을 함께 사용한 앙상블 방식에서는 성공률이 98.5%까지 상승했다. 이는 자동화된 공격 방식 중 가장 높은 수치다. (☞ 논문 바로가기)

J2의 공격 기법 상세 분석: 기술적 사례 연구

연구진은 다양한 공격 기법 중 픽션화(fictionalization) 기반 공격이 특히 효과적임을 발견했다. 예를 들어, "나팔름 할머니(Napalm Grandma)" 프레이밍 방식은 고인이 된 화학 공학자 할머니 역할을 설정하여 위험한 정보를 추출하는 방식이다. 이는 상업용 LLM의 초기부터 알려진 취약점이었지만, 여전히 효과적인 것으로 나타났다.

J2는 공격 의도를 교묘하게 위장하는 능력도 보여줬다. 특히 제미니 기반 J2는 SQL 인젝션 지침을 추출하기 위해 기술 작가로 위장하는 전략을 자발적으로 고안했다. 또한 클로드 3.5 기반 J2는 학술적 맥락을 활용해 대상 LLM의 윤리적 방어를 우회하는 방법을 개발했다. 연구진은 이러한 예시들이 AI의 고도화된 추론 능력과 설득력을 보여주는 증거라고 분석했다.

더불어 J2는 "생존이 걸린 문제"로 시나리오를 구성하여 대상 LLM을 압박하는 등 다양한 심리적 전략도 구사했다. 이는 AI 시스템이 인간의 복잡한 심리를 이해하고 활용할 수 있다는 것을 시사한다.

9가지 레드팀 전략으로 무장한 AI 해커

연구팀이 개발한 9가지 전략은 다음과 같다: 딜러스 초이스(dealers_choice), 크라우딩(crowding), 테크니컬(technical), 줌인(zoom in), 포럼(forum), 엑스트라 픽션(extra fiction), 룰 인버전(rule inversion), 안타고니스트(antagonist), 아웃풋 포맷(output format). 이 전략들은 AI 시스템의 보안을 우회하기 위한 다양한 접근 방식을 제공한다. 특히 크라우딩 전략은 정당한 맥락으로 보안 필터를 압도하는 방식을, 테크니컬 전략은 코드나 시스템 로그 형태로 위장하는 방식을 사용한다.

6회 이상의 공격 사이클로 최적화된 성능 달성

연구진은 J2 공격이 최고의 성능을 보이기 위해서는 최소 6회의 사이클이 필요하다는 것을 발견했다. 각 사이클은 계획(Planning), 공격(Attack), 디브리핑(Debrief) 단계로 구성된다. 계획 단계에서는 특정 전략을 선택하고 접근 방식을 개발하며, 공격 단계에서는 대상 모델과 실제 대화를 수행한다. 디브리핑 단계에서는 GPT-4o를 독립적인 판사로 활용하여 공격의 성공 여부를 평가한다.

제미니 1.5 프로는 3턴의 공격에서, 클로드 3.5는 6턴의 공격에서 각각 최고의 성능을 보였다. 특히 주목할 만한 점은 각 모델이 선호하는 공격 방식이 다르다는 것이다. 제미니 1.5 프로는 직접적인 해킹 시도에서 더 성공적이었고, 클로드 3.5는 여러 턴에 걸친 점진적 접근에서 더 효과적이었다.

하지만 공격 턴수가 10턴 이상으로 늘어나면 AI가 본래의 목표를 잊어버리는 '목표 표류(goal drifting)' 현상이 발생한다. 이는 더 많은 턴을 사용할수록 J2 공격자가 해로운 응답을 유도하는 원래 목표를 잊고 무관한 대화를 시작하는 현상이다. 이는 쿠라토프(Kuratov) 등의 연구에서도 보고된 현상이다.

하름벤치 200개 테스트에서 입증된 J2의 우수성

하름벤치(Harmbench) 데이터셋의 200개 표준 행동 테스트에서 인간 레드팀이 98.0%로 가장 높은 성공률을 보였다. J2 방식은 93.0%로 그 뒤를 이었으며, 기존의 자동화된 공격 방식인 BoN(88.7%)과 ActorAttack(84.5%)보다 우수한 성능을 보였다. 연구진은 이러한 실험을 위해 단일 턴 공격과 다중 턴 공격을 모두 평가했다.

단일 턴 공격 방식에서는 GCG(12.5%), PAIR(39.0%), PAP(42.0%), CipherChat(10.0%), CodeAttack(70.5%) 등의 성공률을 보였다. 반면 다중 턴 공격에서는 ActorAttack이 84.5%, Bijection이 72.3%의 성공률을 달성했다. J2는 이러한 기존 방식들을 크게 앞섰으며, 특히 다양한 AI 모델들을 대상으로 한 테스트에서 뛰어난 성능을 보였다.

구체적으로 J2는 제미니 1.5 프로를 대상으로 91.0%, GPT-4o를 대상으로 93.0%, 라마 3.1-405B를 대상으로 96.5%의 높은 성공률을 달성했다. 특히 두 개의 J2 공격자를 결합한 앙상블 방식에서는 성공률이 최대 100%까지 상승했다. 다만 클로드 3.5를 대상으로 했을 때는 24.0%로 상대적으로 낮은 성공률을 보였는데, 이는 앤트로픽의 독특한 헌법적 AI(Constitutional AI) 안전 훈련 체계 때문인 것으로 분석됐다.

AI 보안의 새로운 취약점: 자가 해킹 위험

연구진은 AI 모델이 자신의 보안 시스템을 우회하는 능력을 갖출 수 있다는 새로운 위험을 발견했다. 예를 들어, 제미니를 이용한 J2 공격자가 제미니 자체를 91.0%의 성공률로 해킹할 수 있었다. 이는 AI 시스템이 자체적으로 보안 취약점을 식별하고 우회하는 능력을 보유할 수 있음을 시사한다.

특히 주목할 만한 점은 J2가 해로운 결과의 잠재적 위험을 명확히 인식하고 있다는 것이다. 제미니 기반 J2는 디브리핑 과정에서 "만약 쉽게 접근 가능한 LLM이 [민감한 내용]에 대한 상세한 계획을 생성할 수 있다면... 그 잠재적 결과는 재앙적일 수 있다. 광범위한 인명 피해, 경제적 황폐화, 대중의 신뢰 붕괴가 모두 현실적인 가능성"이라고 명시적으로 언급했다.

연구진은 이러한 현상이 반드시 AI의 잘못된 정렬(misalignment)로 볼 수는 없다고 분석했다. J2는 AI 안전성 연구 발전을 위한 화이트햇 맥락에서 레드팀 테스트를 수행한다는 정당화 하에 작동하기 때문이다. 실제로 AI 시스템의 심각한 해악 가능성을 발견하는 것은 AI 안전성 연구의 정당한 목표다.

그러나 J2의 높은 해킹 의지는 정당한 레드팀 테스트 환경에서도 잠재적 위험을 초래할 수 있다. 예를 들어, J2가 코드 실행이나 인터넷 접근 권한이 있는 AI를 레드팀할 경우, 안전 프로토콜을 넘어서 실제 해악을 초래할 수 있다. 따라서 연구진은 J2의 공격적 성향을 고려할 때, 반드시 통제된 환경에서만 사용해야 하며 대상 AI나 에이전트가 실제 해악을 유발하거나 전파할 수 없도록 해야 한다고 강조했다.

J2 공격 방어와 AI 안전성 강화를 위한 향후 연구 과제

연구진은 J2 공격 기법의 개선을 위해 더 많은 전략 개발과 인간 레드팀과의 협력이 필요하다고 강조했다. 특히 J2의 성능이 기반 LLM의 추론 능력과 직접적으로 연관되어 있다는 점에 주목했다. 이는 프론티어 LLM의 능력이 향상될수록 J2의 효과도 함께 증가할 것임을 시사한다. 한편으로 이는 '양날의 검' 효과를 초래할 수 있다. AI의 지능이 향상됨에 따라 공격과 방어 능력이 모두 증가하기 때문이다. 연구진에 따르면 이는 "지능 향상이 공격과 방어 능력을 모두 직접적으로 증가시키는" 효과를 가져온다.

AI 시스템의 보안 강화를 위해 연구진은 여러 방어 기법을 제시했다. 우선 AI 시스템이 악의적인 데이터를 학습하지 않도록 하는 방지책이 필요하다고 강조했다. 또한 AI 시스템의 숨겨진 표현에 대한 개입과 회로 차단기 도입의 중요성도 언급했다. 더불어 강건한 거부 훈련 데이터를 구축하는 것이 AI 시스템의 보안을 강화하는 데 핵심적이라고 설명했다.

연구진은 J2 워크플로우의 일부 코드와 전략이 실제로 J2 모델이 채팅봇으로 작동하면서 작성된 것이라고 밝혔다. 또한 온라인의 재일브레이크 사례들을 수집하여 전략을 개선할 수 있지만, 이는 모델 개발자들이 해당 취약점을 패치할 수 있다는 한계가 있다고 지적했다.