AI 속도 조절 제안한 앤트로픽, 모델 개발 전 과정 외부 검증

액센츄어 AI 조직에 직원 수준 접근 권한…모델 훈련부터 개발·배포 과정 평가

앤트로픽이 인공지능(AI) 개발 속도를 둘러싼 안전 논의를 실제 검증 단계로 옮긴다. 외부 평가자를 회사 내부에 배치해 AI 개발 과정의 안전성을 검증하기로 했다.

앤트로픽은 18일(현지시간) 자사 블로그를 통해 액센츄어와 프런티어 AI 독립 평가를 위한 파트너십을 체결했다고 밝혔다. 액센츄어의 AI 전문 조직 '패컬티'가 직원과 비슷한 수준의 접근 권한을 받아 모델 훈련부터 개발·배포 과정까지 내부에서 평가한다. 모델 평가와 레드팀 테스트를 비롯해 정렬 평가와 안전장치 시험도 맡는다.

액센츄어는 기업과 정부의 AI 도입을 지원해 온 글로벌 컨설팅·기술 서비스 기업이다. AI와 데이터, 사이버보안, 기업 시스템 구축 등의 사업을 수행하고 있다. 현재 120여 개국에서 약 9000개 고객사를 지원하고 있다. 앤트로픽은 액센츄어가 여러 산업에서 AI를 실제 구축해 온 경험을 모델 안전성 평가에 활용할 수 있다고 설명했다.

다리오 아모데이 앤트로픽 CEO. 그는 최근 AI 개발 속도 조절 필요성을 제기하고 외부 평가자를 AI 기업 내부에 배치하는 방안을 제안했다. (사진=다리오 아모데이 X)

이번 협력은 최근 앤트로픽이 제기한 AI '속도조절론'의 후속 조치다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 최근 '우리는 프런티어의 속도를 조절해야 한다'는 글에서 외부 평가자를 AI 기업 내부에 배치하는 방안을 제시했다. 앤트로픽은 이번 협력을 당시 약속을 이행하기 위한 중요한 단계로 규정했다.

내재형 평가로 불리는 이 방식은 완성된 모델을 외부에서 시험하는 기존 평가와 달리 AI가 만들어지는 과정부터 살펴본다. 평가자는 모델 훈련 과정과 개발·배포 과정에서 내려지는 결정을 확인하고 회사 직원들과 직접 소통한다.

평가자는 앤트로픽이 AI 안전과 관련해 내건 약속을 실제로 지키는지 확인하고 내부에서 놓친 위험을 찾는다. 사고가 발생하면 이를 보고하고 AI가 가져올 이점과 위험에 대해 외부에 보다 구체적인 정보를 제공하는 역할도 맡는다.

앤트로픽과 액센츄어는 내재형 평가 역량을 구축하기 위해 앞으로 5년간 각각 최소 10억 달러(약 1조3800억원)를 투자할 예정이다.

다만 내재형 평가는 아직 초기 단계여서 운영 기준은 마련되지 않았다. 평가자가 기업 내부의 어떤 정보까지 접근할 수 있는지와 평가 결과를 어떻게 공개할지에 대한 기준도 정해지지 않았다.

평가 비용을 마련하는 방식도 과제로 남아 있다. 이번 액센츄어의 평가 비용은 앤트로픽이 직접 부담하지만 장기적으로는 공동 기금이나 정부 재원을 활용해야 한다는 게 앤트로픽의 입장이다.

앤트로픽은 여러 외부 기관이 함께 AI를 검증하는 체계도 추진한다. 현재 비영리 AI 평가기관 '메트르' 등과 내재형 평가 방식을 시범 적용하는 방안을 논의하고 있으며 앞으로 몇 주 안에 추가 협력 기관을 발표할 예정이다. 액센츄어와의 협력도 독점 계약이 아니어서 다른 AI 개발사도 같은 방식의 평가를 받을 수 있다.

앤트로픽은 "독립적인 내재형 평가자는 우리의 책임을 줄이는 것이 아니라 이를 더 검증 가능하게 만드는 역할을 한다"며 "모델의 안전에 대한 책임은 여전히 우리에게 있다"고 밝혔다.