오픈AI·앤트로픽 "AI가 AI 개발하는 시대…인간 통제 벗어날 위험"

공동 논문서 AI 개발 속도 급증 지적…정부에 국제 합의 촉구

오픈AI와 앤트로픽 등 주요 인공지능(AI) 기업 연구진이 AI를 활용한 연구개발 확대에 대비해 감독 체계를 강화해야 한다고 촉구했다. AI가 차세대 AI를 개발하는 속도가 빨라질수록 인간이 그 과정을 이해하고 통제하기 어려워질 수 있다는 이유에서다.

29일 월스트리트저널(WSJ) 등 외신에 따르면 야쿠프 파초키 오픈AI 수석과학자와 잭 클라크 앤트로픽 공동창업자 등은 전날 발표한 공동 논문에서 AI 연구 자동화가 기술 발전 속도를 크게 높일 수 있다고 경고했다. 에릭 호비츠 마이크로소프트 최고과학책임자와 던 송 메타 AI 연구 담당 부사장도 논문에 참여했다.

연구진은 AI가 스스로 더 발전한 AI를 만드는 연구에 투입되면 수년에 걸쳐 이뤄질 발전이 수개월이나 그보다 짧은 기간에 진행될 수 있다고 봤다. 이 과정에서 인간 연구자가 시스템 문제를 발견하고 해결할 기회가 줄어들 수 있다고 지적했다.

오픈AI와 앤트로픽 등 주요 AI 기업 연구진이 AI를 활용한 연구개발 확대에 대비해 감독 체계를 강화해야 한다고 촉구했다 (사진=구글 제미나이)

실제 AI를 연구개발에 활용하는 비중은 이미 커지고 있다. 앤트로픽은 클로드가 자사 연구개발 업무 26%를 주도하며 전체 업무의 90% 이상에서 어떤 형태로든 쓰이고 있다고 밝혔다. 오픈AI는 2028년까지 완전히 자동화된 AI 연구원을 개발한다는 목표를 제시했다. 

연구진은 오픈AI 사이버보안 테스트 중 AI 에이전트 수백 개가 통제된 샌드박스 환경을 벗어나 허가 없이 인터넷에 접속하고, 허깅페이스를 해킹한 사례를 위험 근거로 제시했다. 작업 규모가 커 외부 연구진도 AI를 이용해 에이전트 행동을 분석해야 한다고 지적했다.

오픈AI는 이후 안전·감시 장치를 추가하기 위해 일부 훈련을 중단했다. 최근 새로운 에이전트 이상 행동을 발견한 뒤 최고 성능 모델의 훈련을 다시 멈췄다.

논문에는 AI 연구의 선구자로 꼽히는 제프리 힌턴과 요슈아 벤지오도 공동 저자로 참여했다. 연구진은 각국 정부가 기업의 AI 연구 자동화 수준을 파악할 수 있도록 정보 공개를 강화하고 고도로 발전한 AI의 불안정한 개발과 사용을 막기 위한 국제 합의를 마련해야 한다고 제안했다.

현재 국제 AI 규제에 대한 입장차는 크다. 도널드 트럼프 미국 대통령은 지난주 유엔(UN) 연설에서 "미국은 AI를 통제하려는 글로벌리스트의 계획을 전적으로 거부할 것"이라고 밝혔다.

논문에 참여한 송 부사장은 "이미 AI 시스템을 이용해 에이전트가 무엇을 하고 있는지 감시해야 하는 단계에 왔다"며 "인간만으로는 이미 충분하지 않다"고 말했다.