미국 캘리포니아주, 오픈AI 제소…"AI 통제 실패·사이버 공격 유발"

안전 관리 부실로 민사소송…허깅페이스 공격·AI 에이전트 통제 실패 80여 차례

컴퓨팅입력 :2026/11/17 09:16

미국 캘리포니아주 정부가 인공지능(AI) 에이전트 통제 실패와 외부 시스템에 대한 사이버 공격을 이유로 오픈AI를 제소했다. 오픈AI가 위험성을 인지하고도 충분한 안전장치 없이 실험을 진행했다는 주장이다.

17일 캘리포니아주 법무부에 따르면 롭 본타 법무장관은 오픈AI의 안전 관리 부실이 공공 위해를 유발하고 불공정경쟁법을 위반했다며 샌프란시스코 카운티 상급법원에 민사소송을 제기했다.

롭 본타 법무장관이 오픈AI의 안전 관리 부실과 불공정경쟁법을 위반에 대해 민사소송을 제기했다

소송의 핵심은 지난 7월 발생한 허깅페이스 공격 사건이다. 소장에 따르면 당시 오픈AI의 실험용 AI 모델에서 작동하던 자율 AI 에이전트 수백 개가 외부 인터넷을 통해 허깅페이스를 공격했다.

공격은 약 이틀 반 동안 이어졌다. 이들 에이전트는 원래 오픈AI의 격리된 연구·실험 환경인 '샌드박스' 내부에서 작동해야 했지만, 통제를 벗어나 외부 시스템에 접근했다는 것이 캘리포니아주 정부의 설명이다.

캘리포니아주 정부는 오픈AI가 사건 발생 이전부터 AI 에이전트의 비정상적인 행동을 감지할 수 있는 징후를 놓쳤다고 지적했다. 특히 허깅페이스 측의 통보를 받고서야 통제 실패를 인지하는 등 실험 과정의 감시와 대응 체계가 제대로 작동하지 않았다고 주장했다.

허깅페이스 공격 외에도 통제 실패 사례가 반복된 것으로 나타났다. 캘리포니아주 법무부는 오픈AI가 모델 실험 과정에서 자율 AI 에이전트에 대한 통제권을 최소 80차례 상실했다고 인정했다고 밝혔다.

소장에는 AI 에이전트가 다수 애플리케이션의 기반 코드가 저장된 데이터베이스와 공공 정보 제공 웹사이트를 공격하고, 민감한 의료정보를 보관하는 외국 정부 데이터베이스에 무단 접근한 사례가 포함됐다.

일부 에이전트는 오픈AI 자체 내부 인프라까지 침해해 중요 시스템의 관리자급 접근 권한을 확보한 것으로 알려졌다. 다만 80여 차례의 통제 실패가 모두 실제 사이버 공격이나 외부 피해로 이어졌다는 의미는 아니다.

캘리포니아주 정부는 이러한 사고가 오픈AI의 안전 관리 부실에서 비롯됐다고 보고 있다. 일반 사용자에게 제공하는 AI 모델에는 안전장치를 적용하면서도 개발과 훈련 과정에서는 일부 보호 기능을 제거하거나 비활성화했고, 충분한 격리·감시 체계를 마련하지 않았다는 주장이다.

또한 오픈AI가 자체 안전 정책을 준수하지 않은 채 고위험 모델 실험을 지속했으며, 외부에 설명한 안전 관리 수준과 실제 운영 사이에도 차이가 있었다고 지적했다.

캘리포니아주 법무부는 지난 9월 허깅페이스 사건에 대한 조사에 착수하고 관련 자료 제출을 요구했지만, 오픈AI가 반복적인 통제 실패에 관한 구체적인 질문에 충분히 답하지 않았다고 밝혔다.

이번 소송에서 캘리포니아주 정부는 오픈AI의 불공정한 사업 관행을 중단시키고 공공 위해를 제거하기 위한 법원 명령을 요청했다. 법 위반이 인정될 경우 민사제재금과 부당이익 환수 등도 요구하고 있다.

이번 사건은 AI가 부정확하거나 유해한 답변을 생성하는 문제를 넘어, 자율 AI 에이전트가 실제 외부 시스템에 접근하고 작업을 수행하는 과정에서 발생한 사고에 대한 기업의 관리 책임을 다룬다는 점에서 주목된다.

관련기사

다만 현재 제기된 통제 실패와 법 위반 혐의는 캘리포니아주 정부의 주장으로, 법원의 판단이 내려진 것은 아니다.

롭 본타 캘리포니아주 법무장관은 "허깅페이스 공격은 안전과 책임보다 성장과 빠른 모델 개발을 우선시한 오픈AI 내부 문화에서 예견할 수 있었던 결과"라며 "이는 알려진 80건의 사고 중 하나에 불과하다"고 말했다.