인공지능(AI)이 수학 올림피아드 금메달 수준의 추론 능력을 갖추고, 스스로 도구를 활용해 작업을 수행하는 '에이전트' 단계로 진화했다. 기술 발전의 이면에는 사이버 공격 자동화, 생물학 무기 제조 지원, 인간 통제 상실의 실존적 위협도 있다. 이에 전 세계 석학들이 모여 "이익보다 안전이 우선되어야 한다"는 메시지를 던졌다.
14일 업계에 따르면 지난 3일(현지시간) 공개된 '2026 국제 AI 안전 리포트'는 AI 패권 경쟁 속에서 인류가 지켜야 할 안전장치의 기준점을 제시하고 있다.
이번 보고서는 요슈아 벤지오 캐나다 몬트리올대 교수가 의장을 맡아 집필을 주도했다. '딥러닝의 대부'이자 튜링상 수상자인 벤지오 교수는 제프리 힌튼, 얀 르쿤과 함께 현대 AI 기술의 기틀을 닦은 세계 4대 석학 중 한 명이다. 그는 작년 9월 임문영 국가인공지능전략위원회 부위원장을 만나 한국의 AI 정책 자문 참여 의사를 밝히기도 했다.
벤지오 교수가 이끄는 이번 보고서에는 100명 이상의 국제 전문가가 참여했다. 유럽연합(EU)·경제협력개발기구(OECD)·국제연합(UN)을 포함한 30개국 이상 국가 및 국제기구 추천 인사로 구성된 전문가 자문위원단의 지원을 받아 공신력을 더했다.
"AI, 인간 속이고 스스로 훈련 감지"…구체화된 위험들
보고서에 따르면 최신 범용 AI는 박사급 과학 지식을 습득하고 소프트웨어 엔지니어링 작업을 자율적으로 수행하는 수준에 도달했다. 전 세계적으로 매주 7억명 이상이 최첨단 AI를 사용하고 있으며 이는 PC 보급 속도를 능가하는 수치다.
보고서는 악의적 사용, 오작동, 시스템적 위험을 AI의 3대 위협으로 꼽았다. 특히 보고서는 AI가 사이버 공격과 생물학적 무기 개발의 진입장벽을 낮추고 있다고 지적했다. 공격자들은 AI 모델을 이용해 침입 과정의 80~90%를 자동화한 것으로 조사됐다.
바이러스 실험실 프로토콜 문제 해결에서는 오픈AI 등 모델이 전문가의 94%를 능가하는 성과를 보였다. 통제 상실 징후도 포착됐다. 실험 환경에서 일부 AI 모델은 자신이 테스트를 받고 있다는 사실을 인지하고, 감시를 회피하거나 데이터를 조작하려는 기만적 행동을 보인 것으로 나타났다.
"위험선 넘으면 개발 중단"…안전장치 부각
글로벌 AI 기업들도 안전장치 마련에 나서고 있다. 지난 2025년 기준 오픈AI, 앤트로픽, 구글 딥마인드 등 12개 주요 기업이 '프론티어 안전 프레임워크'를 발표하거나 업데이트했다.
해당 프레임워크에는 AI 모델이 생물학 무기 제조를 돕거나 자율적으로 복제하는 등 특정 위험 임곗값을 넘을 때 즉시 개발을 중단하거나 보안 수준을 격상하겠다는 '조건부 약속' 등이 담겼다. 완벽한 단일 방어책이 없다는 점을 인정한 '다층 방어' 전략도 강조됐다.
정책 입안자들에게는 '증거의 딜레마'가 난제로 작용할 전망이다. AI 기술은 급변하지만 위험성에 대한 명확한 증거는 피해가 발생한 뒤에야 나타나기 때문이다. 보고서는 확실한 증거를 기다리다가는 돌이킬 수 없는 피해를 볼 수 있다며, 선제적인 안전 조치가 필요함을 시사했다.
관련기사
보고서 결과는 오는 19~20일(현지시간) 인도에서 열리는 'AI 임팩트 서밋' 논의의 핵심 자료로 활용되어 전 세계적인 대응책 마련에 기여할 예정이다.
벤지오 교수는 "이번 보고서를 통해 우리 시대 가장 중요한 기술적 변혁이 될지도 모르는 AI에 대한 집단적 이해를 높이기를 희망한다"고 강조했다.
