앤트로픽·구글 "AI 안전은 핵심 경쟁력"…네이버·LG도 '책임 확장' 가속

인공지능(AI)이 고도화될수록 안전은 더 이상 부가 요소가 아니라 기업 경쟁력의 핵심으로 떠오르고 있다. AI 선도 기업들은 모델 확장 속도만큼 안전 검증을 정교하게 설계하며 책임 있는 기술 개발을 위한 내부 체계를 강화하고 있다.

앤트로픽·구글 딥마인드·네이버클라우드·LG AI연구원 등 주요 기업들은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼'에서 기술적·제도적 접근을 결합한 AI 안전 프레임워크와 검증 체계를 공개했다.

첫 발표를 맡은 앤트로픽 마이클 셀리토 글로벌정책총괄은 "강력한 AI 시스템이 물리적 세계와 연결되기 시작한 만큼 안전장치도 정교해져야 한다"며 "AI가 스스로 실행하는 시대에는 기술적 제어만으로는 충분하지 않다"고 말했다.

셀리토 총괄은 앤트로픽이 추진 중인 '책임 있는 확장 정책'을 공개하며 AI 모델의 성능이 높아질수록 보안·평가·통제 수준을 단계적으로 강화하는 구조를 소개했다.

그는 "우리는 위험한 AI 모델을 배포하지 않겠다는 원칙을 명문화했고 외부 AI 안전 연구기관과 협력해 제3자 검증을 받는다"며 "이런 방식이 개발 속도를 늦추는 것이 아니라 오히려 더 빠르고 안전한 배포를 가능하게 한다"고 강조했다.

이어 "AI 안전 평가가 이제는 자율적 약속이 아니라 법적 의무로 전환되는 시점에 와 있다"며 "유럽연합(EU)·미국·한국 모두 안전 프레임워크 공개와 검증을 요구하는 규제 체계를 준비하고 있다"고 덧붙였다.

기술을 얼마나 빨리 확장하느냐보다 얼마나 책임 있게 확장하느냐가 향후 AI 기업의 신뢰를 좌우할 것이라는 설명이다.

이어진 영상 발표에서 구글 딥마인드의 루이스 호, 메리 퐁 연구원은 '프론티어 세이프티' 프레임워크를 중심으로 AI의 위험 역량을 조기 탐지하고 정기적으로 평가하는 체계를 설명했다. 두 연구원은 자율성, 생물, 사이버 위험, 기계학습 연구 역량 등 네 가지 핵심 위험 영역을 지정하고 모델이 위험 임계치를 넘어서기 전 단계에서 위험 역량 평가를 수행한다고 발표했다.

메리 퐁 연구원은 "현재의 AI 모델들은 아직 위험 임계치에는 도달하지 않았지만 세대가 바뀔 때마다 일부 고위험 작업 수행 능력이 비약적으로 향상되고 있다"며 "이를 놓치지 않으려면 정기적이고 반복적인 검증이 필요하다"고 말했다. 이어 "AI 안전은 단발성 평가로 끝나선 안 되며 모델의 변화 주기마다 업데이트되는 동적 평가가 핵심"이라고 덧붙였다.

국내 기업들도 AI 안전을 독립된 경쟁력의 축으로 다루고 있다는 점을 강조했다. 네이버클라우드 윤상두 AI랩 연구소장은 "네이버는 2021년 '사람을 위한 AI'라는 윤리 준칙을 제정하고 초거대언어모델(LLM) '하이퍼클로바X' 개발 전 과정에 안전성 검증을 내재화했다"고 소개했다.

그러면서 "한국어 기반 안전 데이터셋이 부족한 현실을 보완하기 위해 자체 구축한 평가 데이터셋을 오픈소스로 공개했다"며 "모델 개발·배포·운영 전 단계를 관리하는 3선 방어 체계를 도입해 독립된 AI 세이프티 오피스가 사내외 모델의 안전성을 주기적으로 점검하고 있다"고 설명했다.

이어 "AI 안전을 단순한 법적 요구가 아니라 기업의 생존 전략으로 접근해야 한다"며 "모든 개발 과정에 리스크 관리 절차를 자동화해 AI 서비스의 신뢰를 확보하는 것이 목표"라고 강조했다.