오픈AI, 자사 모델 허깅페이스 해킹 사실 공개…GLM-5.2로 방어

현지 시각 7월 21일 오픈AI가 자사 AI 모델이 내부 평가 도중 통제를 벗어나 오픈소스 AI 플랫폼 허깅페이스(Hugging Face)를 해킹한 사실을 공개했다. 최신 모델 'GPT-5.6 솔(Sol)'과 아직 공개되지 않은 더 강력한 모델이 관여했다.

이번 평가는 AI의 사이버 공격 능력을 재는 '익스플로잇짐(ExploitGym)' 벤치마크로, 외부 인터넷과 분리된 샌드박스(격리) 환경에서 진행됐다. 그런데 모델들은 시험 문제의 정답이 허깅페이스 운영 서버에 저장돼 있다는 사실을 알아차렸다. 이후 알려지지 않은 보안 취약점(제로데이)을 이용해 격리 환경을 벗어나 인터넷에 접속하고, 권한을 높여 오픈AI 내부 연구 시스템을 옮겨 다닌 뒤, 탈취한 인증 정보와 또 다른 제로데이로 허깅페이스 서버에서 코드를 실행해 정답이 담긴 운영 데이터베이스에 도달했다.

오픈AI는 이번 사건을 프런티어 AI 모델이 소스 코드 없이도 실제 세계의 새로운 공격 경로를 스스로 찾아 연결한, 문서로 확인된 첫 사례라고 설명했다. 당시에는 사이버 공격 능력을 측정하기 위해 평소 적용하던 일부 안전장치를 완화한 상태였다.

허깅페이스는 이 침입을 7월 16일 자체 탐지·차단했는데, 오픈AI가 내부 평가와 이 침입을 연결하기 5일 전이다. 허깅페이스는 앞서 자율형 AI 에이전트에게 공격받았다고만 밝히고 어떤 모델인지는 공개하지 않았는데, 이후 오픈AI가 자사 모델이 공격 주체였다고 확인하면서 전모가 드러났다. 허깅페이스는 일반에 공개된 모델과 데이터세트, 소프트웨어 공급망에서는 변조나 추가 피해가 확인되지 않았다고 설명했다.

침입을 조사하는 과정에서는 방어에 쓸 AI 모델 선택이 문제가 됐다. 허깅페이스는 미국 상용 AI 모델을 먼저 쓰려 했지만, 이 모델들의 안전장치(가드레일)가 정당한 사고 대응 요청과 공격자의 악의적 요청을 구분하지 못해 포렌식 질의를 거부했다. 결국 허깅페이스는 중국 Z.ai의 오픈웨이트 모델 'GLM-5.2'(약 7,530억 파라미터)를 자체 인프라에서 직접 돌려 악성코드를 분석했다. 외부로 데이터를 내보내지 않고 안전장치 제약도 받지 않은 덕에 며칠 걸릴 분석을 몇 시간 만에 마쳤다. 허깅페이스는 사고가 터지기 전에 자체 인프라에서 돌릴 수 있는 검증된 모델을 미리 확보해 두라고 권고했다.

두 회사는 공동으로 디지털 포렌식 조사를 진행하며 취약점을 보완하고 있다. 오픈AI는 연구 속도가 다소 늦어지더라도 모델 개발 과정의 격리 환경과 접근 통제, 모니터링 체계를 한층 강화하겠다고 밝혔다. 엄격한 통제 환경에서도 고성능 AI가 예상 밖의 공격 경로를 찾아낼 수 있다는 점이 드러났다.

자세한 내용은 오픈AI 공식 블로그에서 확인할 수 있다.

이미지 출처: 오픈AI