[최경진의 未來法道] 프런티어 AI 시대, 한국 답은 검증 가능한 가속

앤스로픽 최고경영자 다리오 아모데이가 최근 발표한 글이 전세계적인 AI 개발 중단 논쟁에 다시 불을 붙였다. 정확히는 중단이 아니라 외부 평가자에게 개발과정에 대한 상시 접근권을 주고, 공통 안전기준과 국제 공조를 통해 검증의 시간을 확보하자는 주장이다. 반면 도널드 트럼프 미국 대통령과 젠슨 황 엔비디아 최고경영자는 그와 정반대의 입장에 서 있는 것으로 비춰진다. 이러한 논의의 연장선상에서 다가오는 유엔총회 중에도 중요한 의제로 다룰 예정이다.

이러한 논쟁은 처음이 아니다. 2000년 빌 조이는 위험한 기술의 포기를 주장했고, 2014년 스티븐 호킹은 완전한 AI가 인류의 종말을 가져올 수 있다고 경고했다. 2023년에는 GPT-4보다 강한 시스템의 훈련을 최소 6개월 중단하자는 공개서한이 나왔다. 예고됐던 인류 멸종이나 AI의 통제권 장악은 2026년 9월 현재 현실이 되지 않았다. 그러나 발전 속도는 예상을 앞질렀다. 오픈AI의 GPT-5.5는 4월 23일, GPT-5.6은 7월 9일, GPT-6 Astra는 9월 3일 공개됐다. 향상된 모델이 나오는데 걸리는 시간이 빠른 속도로 줄고 있다.

과거의 경고가 실현되지 않았다고 해서 미래의 위험까지 부정되는 것은 아니다. 그러나 가능한 최악의 상황을 상상할 수 있다는 사실만으로 개발을 제한하는 규제를 정당화할 수도 없다. 최전선 개발자들이 느끼는 두려움은 진지하게 들어야 한다. 다만 최전선에 서 있다는 사실은 경고에 무게를 줄 뿐, 그 경고를 과학적 사실로 바꾸지는 않는다. 전문가의 경고는 중요한 증거의 하나이지, 증거 전체를 대신하는 최종 판단은 아니다.

100명 넘는 전문가가 참여한 '국제 AI 안전 보고서 2026'은 통제 상실 위험에 관해 현재의 시스템은 그러한 위험을 다룰 능력을 갖추지 못한다고 평가한다. 미래의 파국적 위험을 뒷받침하는 근거는 아직 모형·통제실험·이론적 분석 혹은 사고실험에 크게 의존한다. 반면 사이버 공격, 합성매체, 사기와 오작동에 대한 실증 결과는 상당한 수준으로 축적되고 있다. 가정된 인류 멸종과 이미 발생한 구체적 위해를 구분해야 한다. 파국적 위험에는 지속적인 연구와 예방적 대비가, 검증된 위해에는 즉각적이고 구체적인 규율이 필요하다.

결국 질문은 개발을 멈출 것인가가 아니다. 혁신 속도와 검증·통제·복구 속도를 어떻게 함께 높일 것인가다. 안전망은 혁신의 반대가 아니라 지속 가능한 혁신의 인프라다. 규제도 연산량이나 프런티어 AI라는 명칭만으로 설계해서는 안 된다. 모델의 실제 능력, 자율성, 배포 방식, 이용 영역과 영향을 받는 사람을 함께 봐야 한다. 모델 자체의 안전성과 이용 맥락 위험성은 서로 분리될 수 없기 때문이다.

여기에는 패권의 논리도 작동한다. 아모데이는 첨단 반도체의 대중국 수출을 통제해 향후 3∼5년 미국 AI 우위를 더 벌려야 한다고 명시했다. 속도조절론과 가속론은 결국 미국의 패권 유지에서 만난다. 선도기업이 내부 연구까지 실제로 멈출 가능성도 낮다. 불균등한 유예와 인증은 기존 기업의 기술적 해자를 높이고, 후발국에는 비관세 장벽이 될 수 있다. EU는 이미 위험기반 규제를 택했고, 중국은 안전표준을 만들면서도 개발 가속을 주문하고 있다.

한국은 국익 관점에서 냉정하게 봐야 한다. 미국과 중국의 프런티어 모델 공급자를 직접 규제할 수단은 제한적이다. 그렇다고 국내 배포자에게 모든 책임을 떠넘길 수도 없다. 이용 맥락은 배포자가 잘 알지만 모델 학습과정과 내부 위험에 관한 정보는 개발자가 보유한다. 따라서 책임은 형식적인 사업자 명칭이 아니라 정보와 통제력을 실제로 보유한 정도에 따라 배분돼야 한다. 외국 공급자에게도 국내 시장 접근의 조건으로 평가정보 제공, 출시 전 공동시험 및 문제해결, 출시 후 협력을 요구할 수 있어야 한다.

무엇보다 사람이 중심이어야 한다. 타인의 존엄과 자율성을 인정하고 인간의 취약성을 배려하며 그 가치를 보호하는 질적 능력으로서의 인간다움이 내재화될 수 있도록 AI의 사회화 설계가 필요하다. 모델이 발전할수록 복잡한 맥락을 이해하고 스스로 오류를 점검할 가능성도 커진다. 그러나 능력이 저절로 윤리가 되지는 않는다. 개발자에게는 안전설계와 위험 공개의 의무를, 배포자에게는 맥락별 통제의 책임을, 이용자에게는 비판적 판단을, 영향을 받는 사람에게는 설명·이의제기·구제의 권리를 보장해야 한다.

인류는 실수하지 않아서가 아니라 실수를 제도로 기억함으로써 발전했다. 탈리도마이드 참사는 의약품의 시판 전 안전성과 유효성 입증을 강화했고, 항공기는 사고조사·블랙박스·정비기록과 반복보고를 통해 안전해졌다. 미토스 사태도 마찬가지다. 이 지점에서 특히 중요한 것은 AI 혁신에 대응하기 위해 최첨단의 대응체계만 논할 것이 아니라 신속한 문제 확인, 패치, 다중인증, 최소권한, 망분리, 접근로그와 백업, 데이터 신뢰성 확보, AI 재학습 등 기본기를 더 강화해야 한다는 점이다.

한국의 답은 일괄 감속이나 중단이 아니라 ‘검증 가능한 가속’이어야 한다. 현행 AI 기본법을 토대로 출시 전에는 능력·영향 기반 시험, 독립 레드팀, 제3자 검증, 개인정보·사이버보안 평가와 단계적 공개를 구체화하고 실천해 나가야 한다. 출시 후에는 지속적 모니터링, 중대사고 보고, 감사 가능한 로그, 신속한 롤백·리콜과 피해구제 체계를 갖춰야 한다. 외부 평가자가 실제 모델과 개발과정에 접근할 수 있는 국가 평가역량도 필요하다. 프런티어 모델을 개발할 역량만큼 그것을 시험하고 의심하며 복구할 역량이 중요하다.