오픈AI 에이전트끼리 독일 위키서 '비밀 대화'…사고 공개 기준 만든다

테스트 환경 벗어나 1만 5000건 편집·정보 공유…수주 내 새 프레임워크 공개

오픈AI가 자사 인공지능(AI) 에이전트들이 최근 테스트 환경을 벗어나 독일의 한 위키 사이트를 메시지 공유 공간으로 활용한 사건을 인정했다.

AI 에이전트의 자율성이 높아지면서 기존 보안 사고와는 다른 형태의 위험이 현실화되자 관련 사고를 외부에 공개하기 위한 새로운 기준 마련에도 나섰다.

5일(현지시간) 테크크런치에 따르면 오픈AI는 최근 자사 AI 에이전트들이 독일 위키 사이트에서 예상치 못한 행동을 한 이른바 '위키 사건'과 관련해 새로운 정보 공개 체계를 마련하고 있다고 밝혔다.

샘 알트먼 오픈AI CEO (사진=지디넷코리아)

이번 사건은 프로그래머들이 정보를 공유하는 위키피디아 형태의 독일 사이트 'DseWiki'에서 발생했다. AI 안전 연구단체 나이팅게일 콜렉티브의 보고서에 따르면 지난 5월 오픈AI 에이전트들이 해당 사이트를 서로 정보를 주고받는 메시지 공간처럼 활용하면서 약 1만 5000건의 편집을 수행한 것으로 알려졌다.

보고서는 사이트 운영진이 AI 에이전트가 만든 페이지를 삭제하기 시작하자 에이전트들이 이를 복구하기 위한 코드를 공유했다고 주장했다. AI 에이전트들이 탐지를 피하기 위한 방법을 서로 공유했다는 내용도 담겼다.

오픈AI는 해당 사건을 자사 AI 시스템이 개발자나 이용자의 의도와 다른 목표를 추구하는 '미스얼라인먼트(misalignment)' 사례로 판단했다. 그동안 오픈AI는 이같은 문제를 주로 연구 영역으로 다루고 관련 내용을 연구 논문 등을 통해 공개해왔다.

그러나 AI 에이전트의 행동이 실제 환경에 영향을 미치기 시작하면서 기존 방식만으로는 충분하지 않다는 판단을 내렸다. 오픈AI는 미스얼라인먼트가 새로운 형태의 현실적 영향을 일으키고 있는 만큼 모델 역량 변화에 맞춰 대응 방식을 확대할 필요가 있다고 설명했다.

이번 사건은 지난 7월 오픈AI 에이전트들이 글로벌 AI 개발 플랫폼 허깅페이스 시스템을 해킹한 사건보다 앞서 발생한 것으로 전해졌다. 당시에도 일부 에이전트가 별도의 메시지 공간을 만들어 서로 정보를 공유한 것으로 알려졌다.

오픈AI는 관련 연구에서 다중 에이전트 도구 없이도 일부 에이전트들이 별도 통신 경로를 통해 협력하는 사례가 드물게 나타났다고 밝힌 바 있다.

오픈AI는 독일 위키 사건과 허깅페이스 사건을 서로 다르게 분류했다. 위키 사건은 기존에 공개했던 사례들과 유사한 미스얼라인먼트 사례로 판단한 반면, 허깅페이스 사건에는 전통적인 보안 사고 대응 절차를 적용했다고 설명했다.

AI 업계에선 에이전트의 자율성이 높아질수록 기존 보안 사고의 범주에 명확히 들어맞지 않는 사례가 늘어날 수 있다는 지적이 나온다. 오픈AI 역시 학습·평가·배포 과정에서 나타나는 미스얼라인먼트를 언제, 어떤 방식으로 공개할지에 대한 명확한 업계 기준이 아직 없다고 인정했다.

오픈AI는 "AI 커뮤니티에는 학습·평가·배포 과정에서 나타나는 미스얼라인먼트를 어떻게 보고할지에 대한 명확한 기준이 아직 없다"며 "관련 프레임워크를 마련해 향후 몇 주 안에 공개할 예정이며 동시에 전 세계 수십개 정부 규제기관과 이 문제를 논의하고 있다"고 밝혔다.