AI 안전도 '그들만의 리그'…기술 가진 자가 규칙 만든다

프런티어 기업들 공동 안전기준 논의…韓, 모델 개발 넘어 위험 평가 역량도 중요

인공지능(AI) 안전 논의가 프런티어 AI를 보유한 국가와 기업 중심으로 좁혀지고 있다. 최첨단 모델을 직접 만드는 기업들이 새로운 위험을 찾아내는 데서 나아가 평가 방식과 안전 기준 마련에도 나서면서 기술력이 AI 안전 분야의 영향력으로 이어지는 모습이다.

29일 AI 업계에 따르면 구글과 오픈AI, 앤트로픽은 프런티어 AI에 적용할 공동 안전 기준을 마련하기 위해 가칭 '프런티어 AI 표준기구(SAFA)' 설립을 추진 중이다. 이르면 올해 말이나 내년 초 출범을 목표로 논의가 진행되고 있다.

SAFA에서는 프런티어 AI를 어떤 방식으로 시험하고 안전사고가 발생했을 때 어떻게 대응할지 등을 다룰 것으로 알려졌다. 지금까지 각 회사가 자체적으로 운영해온 안전 평가를 넘어 여러 기업이 함께 적용할 공통 기준도 논의한다.

AI 안전 논의가 프런티어 AI를 보유한 국가와 기업 중심으로 좁혀지는 모습이다. (사진=챗GPT 활용)

프런티어 모델 성능이 높아지면서 평가 대상도 달라졌다. 단순한 답변 정확도를 넘어 사이버 공격이나 생물학적 위험을 높일 수 있는지, 사람의 개입 없이 복잡한 업무를 어디까지 수행할 수 있는지 등이 새로운 평가 영역으로 들어왔다.

오픈AI는 최근 신형 모델의 사이버 공격 능력을 평가한 뒤 위험 수준에 맞춰 내부 보안 조치를 강화했다. 앤트로픽은 최신 모델 출시 전 외부 기관에 안전 평가를 맡겼고 구글 딥마인드는 시험 내용이 개발 과정에 미리 노출되지 않도록 새로운 평가 방식을 도입했다.

새로운 능력이 나타날 때마다 평가 방식도 함께 바뀐다. 기존 시험으로 확인하기 어려운 위험이 나오면 무엇을 시험할지 다시 정하고 이를 측정할 방법도 새로 만들어야 한다. SAFA에서는 이러한 논의가 이어질 것으로 전망된다.

국가 차원에서도 프런티어 AI 평가가 이뤄지고 있다. 미국과 영국의 AI 안전기관은 자국 기업의 모델뿐 아니라 중국 기업이 개발한 최신 모델도 직접 시험하고 있다. 미국 AI표준혁신센터(CAISI)는 중국 AI 모델의 취약점 발견과 공격 코드 개발 능력을 측정해 미국의 최상위 모델과 비교하기도 했다.

프런티어 AI 기술은 모델 성능 경쟁을 넘어 안전 분야의 국제 논의와도 연결된다. 최신 모델에서 나타나는 위험을 직접 확인하고 평가할 기술을 갖춰야 다른 국가와 기업이 만드는 평가 방식과 안전 기준을 논의할 때도 기술적 근거를 제시할 수 있어서다.

배경훈 부총리 겸 과학기술정보통신부 장관은 지난달 국무회의에서 "AI 모델은 이제 국가 안보 그 자체"라며 독자 AI 역량 확보 필요성을 강조했다.

김명주 AI안전연구소장은 지디넷코리아와의 통화에서 "한국이 국제 AI 거버넌스 논의에 참여하려면 프런티어 AI 기술력과 평가 역량을 빠르게 확보해야 한다"며 "한국은 제재국이 되지 말고 제재를 논의하는 나라가 돼야 한다"고 말했다.