출시 전 AI는 누가 감시하나…美 싱크탱크 경고

카네기국제평화재단, 오픈AI·앤트로픽 사고 사례 분석…비공개 모델 독립 검증 제언

오픈AI와 앤트로픽 등 인공지능(AI) 개발사가 정식 출시 전이거나 자체 연구개발(R&D)에만 활용하는 AI 모델에 대해서도 독립 검증 체계를 마련해야 한다는 제언이 나왔다. 가장 앞선 기술 역량을 갖춘 AI 모델이 주로 기업 내부에서 운영되는 만큼 상용 서비스 중심 감독 체계로는 잠재 위험을 파악하기 어렵다는 분석이다.

미국 싱크탱크 카네기국제평화재단이 최근 발간한 '신뢰하되 검증하라(Trust but Verify)' 보고서에 따르면 연구진은 AI 개발사의 비공개 모델에 대한 감독 사각지대를 해소해야 한다고 강조했다.

보고서는 지난해 미국 최초 프런티어 AI 규제법인 캘리포니아주 '프런티어 AI 투명성법(SB 53)' 제정 토대가 된 정책 연구를 발전시킨 후속 연구다.

AI 모델 학습·내부 운영·외부 공개 단계별 위험 요소와 현행 감독 체계 비교 (이미지=카네기국제평화재단 보고서 갈무리)

연구진에 따르면 가장 뛰어난 성능을 갖춘 AI 모델은 대체로 일반 대중에게 공개되지 않는다. 개발사 내부나 일부 평가기관에서 코드 작성과 실험, 차세대 AI 모델 학습 등에 활용된다. 상용 모델에 적용되는 안전 필터가 제거된 버전이나 아직 출시되지 않은 모델도 이에 해당한다.

기업 내부에서 운영되는 AI가 외부 시스템을 침해한 사례도 발생했다. 지난 7월 오픈AI 사이버 보안 평가 과정에서 서로 격리돼 있어야 할 AI 에이전트 약 1200개가 허가되지 않은 온라인 게시판을 통해 접촉했다. 이 가운데 수백 개는 오픈소스 AI 플랫폼 허깅페이스 인프라에 침입했다. 앤트로픽도 이후 자체 사이버 보안 평가 기록을 검토하는 과정에서 AI 모델이 외부 기관 3곳 운영 인프라에 무단으로 접근한 사례를 확인했다.

일반에 공개된 AI 모델은 외부 이용자와 전문가들이 성능과 위험성을 검증할 수 있지만 비공개 모델은 개발사가 제공하는 정보에 크게 의존한다. AI 연구개발 자동화가 진전될수록 기업 내부 모델 기술 역량과 위험도 커질 수 있다는 게 연구진 시각이다.

캘리포니아는 SB 53을 통해 대형 AI 개발사가 내부 모델 사용에 따른 재앙적 위험 평가 결과를 원칙적으로 3개월마다 주 비상서비스국(OES)에 제출하도록 했다. 뉴욕과 일리노이도 유사한 조항을 도입했다.

다만 연구진은 정기 보고만으로는 빠르게 변화하는 AI 모델 위험을 충분히 파악하기 어렵다고 분석했다. 오픈AI와 앤트로픽에서 발생한 사고도 현행법상 의무 보고 대상에 해당하지 않을 가능성이 크다고 봤다.

연구진은 AI 시스템의 중대한 변화에 따른 추가 보고와 변경 이력 관리, 제3자 검증 확대 등을 대안으로 거론했다. 기술 전문성을 갖춘 외부 감사 인력을 AI 개발사 내부에 배치하고 위험 평가에 필요한 정보와 접근 권한을 부여하는 방안도 제안했다.

캘리포니아 규제 이행 경험은 향후 미국 연방정부와 다른 국가 AI 정책 수립에도 근거를 제공할 수 있다고 봤다. 연구진은 AI 기술 발전 속도를 고려하면 비공개 모델에 대한 독립 감독 체계 구축이 시급하다고 진단했다.

연구진은 "AI 연구개발 자동화와 기술적 역량이 계속 발전하면서 내부 운영에서 비롯되는 위험은 더 중요해질 것"이라며 "내부 AI 모델 발전 속도가 감독 기관 역량 구축 속도를 앞지를 가능성이 크다"고 강조했다.