"AI 속도조절 안돼…추격 멈추지 말고 안전 역량 키워야"

산학계, '속도 책임' 대응 제시…프런티어 AI 경쟁력·안전 역량 병행 필요

인공지능(AI) 개발 속도를 늦추기보다 프런티어 AI 경쟁력을 끌어올리면서 검증과 통제 역량을 더 빠르게 확보해야 한다는 목소리가 학계와 산업계에서 나왔다.

1일 서울 중구에서 열린 국가인공지능전략위원회 'AI 개발 속도조절론 관련 세미나'에서는 국내 AI 개발 속도를 낮추기보다 프런티어 AI 경쟁력을 이어가면서 평가·검증·통제 역량을 동시에 확보해야 한다는 데 참석자들의 의견이 모였다.

최근 앤트로픽과 오픈AI 등에서는 프런티어 AI의 능력이 통제 수준보다 빠르게 높아질 수 있다는 우려와 함께 개발 속도를 조절해야 한다는 주장이 제기됐다. 반면 미국과 중국 정부를 비롯해 AI 기술 경쟁을 이어가야 한다는 입장도 나오면서 속도와 안전을 둘러싼 논의가 확산하고 있다.

(왼쪽부터) 김동환 포티투마루 대표, 김명주 AI안전연구소장, 최대선 숭실대 AI안전성연구센터장, 이원태 국가AI전략위 보안특위 위원장, 김성훈 업스테이지 대표, 이한울 에임인텔리전스 부사장. (사진=국가인공지능전략위원회 유튜브 캡처)

이날 참석자들은 국내 AI 개발 속도를 낮추는 데에는 대체로 신중한 입장을 보였다. 프런티어 AI 기술 추격을 이어가는 동시에 위험을 검증하고 사고에 대응할 역량도 함께 갖춰야 한다는 데 무게가 실렸다.

한국의 대응 방향으로 '속도 책임'이 제시됐다. AI 개발과 산업 활용은 이어가되 검증과 사고 대응, 복원력 등 안전 역량을 위험이 커지는 속도보다 더 빠르게 높이자는 구상이다.

이원태 국가AI전략위 보안특위 위원장은 "대한민국 AI의 시계는 절대 멈출 수 없다"며 "프런티어 모델과 산업적 활용은 늦추지 말고 위험이 커지는 속도보다 검증과 사고 보고, 복원력 등 책임의 속도를 더 빠르게 해야 한다"고 말했다.

기술 추격 단계에 있는 한국이 개발 속도를 낮추면 미국과 중국과의 격차가 더 벌어질 수 있다는 우려도 나왔다.

김성훈 업스테이지 대표는 미국이나 중국이 만든 초지능에 의존해서는 한국의 기술 주권을 확보하기 어렵다고 봤다. 한국도 AI가 스스로 더 나은 AI를 만드는 자기개선 단계까지 기술력을 끌어올린 뒤 안전장치를 함께 마련해야 한다는 입장이다.

김 대표는 "같이 멈추면 우리는 이 바닥을 기게 될 것"이라며 "안전하게 그러나 굉장히 빠르게 자기개선형 초지능으로 나가야 한다"고 말했다.

개발 속도를 유지하기 위해서는 AI 능력을 제대로 측정할 수 있는 평가 체계가 뒷받침돼야 한다는 분석도 이어졌다. 현재 모델 자체를 중심으로 한 평가만으로는 에이전트가 결합했을 때 나타나는 실제 능력을 충분히 파악하기 어렵다는 것이다.

최대선 숭실대 AI안전성연구센터장은 자체 실험에서 같은 모델에 에이전트를 결합했을 때 사이버 보안 성능이 크게 높아진 사례를 소개했다. 개별 모델뿐 아니라 에이전트가 결합된 전체 시스템까지 평가 범위를 넓히고 악용 통제와 행동 차단, 사고 추적 체계를 함께 갖춰야 한다고 제안했다.

이한울 에임인텔리전스 부사장도 모델 개발 역량과 위험을 판단할 역량을 함께 확보해야 한다고 봤다. 국내에서 개발한 모델도 독립적인 평가를 거쳐야 하며 검증된 보안 기술이 기업 현장에 적용될 수 있도록 인력과 운영 여건을 갖추는 문제도 짚었다.

평가 기준을 누가 만들 것인지도 주요 화두로 다뤄졌다. 글로벌 빅테크가 자체 안전 기준을 만들고 이를 사실상의 국제 표준으로 확산할 경우 기술 경쟁력이 규칙을 만드는 힘으로 이어질 수 있어서다.

김동환 포티투마루 대표는 유엔과 경제협력개발기구(OECD) 등 다자 협력 체계에서 AI 안전 기준을 함께 논의해야 한다고 제안했다. 한국도 이미 만들어진 기준을 따르는 데 그치지 않고 국제 논의 과정에 참여해야 한다고 봤다.

국제 AI 안전 논의에 참여하기 위한 국내 검증 역량 확보도 과제로 꼽혔다. 김명주 AI안전연구소장은 다음 주 열리는 9개국 AI안전연구소장 협의회에서 첨단 AI 표준과 검증 체계, 사고 대응 방안 등을 논의할 예정이라고 밝혔다.

현재 국내 평가 인력은 주요국과 격차가 있다. 김 소장에 따르면 한국 AI안전연구소 정규직은 20명 남짓인 반면 영국은 평가 인력만 200명 수준이다. AI안전연구소는 국내 AI 모델과 에이전트에 대한 평가를 확대하고 연말까지 개발자 가이드라인과 평가 플랫폼을 마련하는 방안도 준비하고 있다.

이원태 위원장은 "안전은 가속의 반대말이 아니고 가속의 조건일 수 있다"며 "경쟁력 있는 AI는 단지 성능이 높은 AI가 아니라 안전하게 배포하고 사고가 나도 회복할 수 있는 AI여야 한다"고 말했다.