'암호화' 추론의 허점…오픈AI·앤트로픽·구글 API에서 숨은 사고 과정 추출

프론티어 AI 모델의 '암호화된' 내부 사고 과정을 평문으로 뽑아내는 공격이 논문으로 공개됐다. 현지 시각 8월 10일 arXiv에 게재된 연구로, 와이어드가 11일 보도했다. 튀빙겐 ELLIS 연구소와 막스플랑크 지능시스템 연구소, MATS 리서치, 스니크 연구진 8명이 작성한 116페이지 분량의 논문이다. 앤트로픽과 오픈AI, 구글의 API가 모두 영향을 받는 것으로 확인됐다.

공격의 핵심은 추론을 담는 '암호화 블록'의 특성에 있다. 오픈AI·앤트로픽·구글은 모델의 단계별 사고 과정을 서버에 저장하지 않는 대신, 이를 암호화한 블록으로 만들어 사용자에게 돌려주고 다음 요청 때 다시 받는 방식을 쓴다. 연구진은 이 블록이 같은 제공자의 다른 세션·다른 사용자·다른 모델 사이에서 그대로 호환된다는 점을 발견했다. 더 강한 모델이 만든 블록을 같은 제공자의 더 약하고 안전장치가 느슨한 모델에 주입하면, 약한 모델이 그 내용을 평문으로 그대로 옮겨 적는다.

앤트로픽에서는 클로드 오퍼스 4.8의 추론을 클로드 하이쿠 4.5로 풀어냈고, 오픈AI에서는 GPT-5.6 솔의 추론을 GPT-5.6 루나로, 구글에서는 제미나이 계열에서 같은 방식이 통했다. 강한 모델 자체를 공격할 필요가 없다는 점이 이 기법의 특징이다. 실제 피해 사례도 확인됐다. 연구진이 깃허브와 허깅페이스의 공개 저장소에서 모은 31만 5,320개 추론 블록 가운데 개인정보 367건과 자격증명 182건을 복구했다. 개발자들이 실수로 업로드한 로그에 암호화 블록이 그대로 남아 있었던 것이다.

공격은 네 가지 방법으로 시도된다. 경쟁사가 모델 학습에 쓸 수 있는 추론을 빼내는 증류 방지 우회, 공개 로그에서 개인정보를 뽑아내는 대규모 데이터 추출, 최종 답변은 안전하게 거절했어도 추론 과정에 위험한 내용이 남는 경우의 노출, 그리고 암호화 블록 안에 악성 지시를 숨겨 다른 에이전트를 오염시키는 보이지 않는 프롬프트 주입까지 가능하다고 연구진은 밝혔다.

세 제공사는 책임 공개 후 서버 측 완화 조치를 배포해 원래의 재현 시나리오는 막힌 상태다. 다만 연구진은 완전한 차단에는 API 구조의 근본적 변경이 필요하다고 짚었다. 논문은 또 중국의 오픈가중치 모델 키미 K3가 클로드 오퍼스 4.8과 GPT-5.6 솔의 추론과 놀랍도록 유사한 출력을 내는 사례를 제시해, 미국 모델의 추론이 학습에 쓰였을 가능성을 제기했다. 인과적 증명은 불가능하다는 단서가 함께 달렸다. 존스홉킨스대 연구자 매튜 그린이 지난 5월 29일 이 취약점을 처음 발견했고, 연구진이 공격 기법을 체계화해 발표했다.

자세한 내용은 와이어드 에서 확인할 수 있다.

이미지 출처: ELLIS 튀빙겐 연구소