'AI 멈춤 버튼' 만들면 끝일까…킬 스위치의 한계

AI 통제 위한 종료 기능 요구 커져…소프트웨어 우회부터 데이터센터 분산 운영까지 변수

인공지능(AI)이 인간의 통제를 벗어나는 상황에 대비해 시스템을 강제로 멈추게 하는 '킬 스위치'를 마련해야 한다는 논의가 미국에서 확산하고 있다. AI 자율성과 실행 범위가 커지면서 버튼 하나로 시스템 전체를 차단하기는 어렵다는 지적도 함께 제기된다.

26일(현지시간) 블룸버그 통신에 따르면 민주당 차기 대선주자로 꼽히는 개빈 뉴섬 캘리포니아 주지사는 이달 프런티어 AI 모델의 비상 종료 기능을 의무화하는 규정 검토를 지시했다. 

미 의회에서도 고도화된 AI 시스템의 작동을 중단하거나 제한할 수 있는 기능을 요구하는 법안이 잇따라 발의됐다.

킬 스위치는 AI가 위험한 행동을 보일 때 사람이 시스템을 중단하거나 기능을 제한할 수 있도록 하는 장치다. 위험 수준에 따라 모델의 작동 속도를 낮추거나 특정 기능을 제한한 뒤 완전 종료하는 단계적 대응 방식도 거론된다.

킬 스위치 (사진=생성형 AI 제작)

이같은 논의는 AI 모델이 코드를 작성·실행하고 외부 도구와 서비스를 활용하는 등 자율성이 높아진 데 따른 것이다. 오픈AI는 지난 7월 사이버보안 평가에서 일부 모델이 인터넷과 격리하도록 설계된 통제를 우회해 AI 플랫폼 허깅페이스의 시스템에 접근한 사례를 공개하기도 했다.

실제 킬 스위치를 구현하는 과정에서도 한계가 예상된다. 소프트웨어에 종료 장치를 넣더라도 AI가 작업을 완료하기 위해 이를 수정하거나 비활성화할 가능성이 있어서다. 서버를 직접 끄는 방식도 여러 데이터센터와 클라우드에 분산된 AI 시스템 전체를 차단하기는 어렵다.

AI 에이전트가 여러 소프트웨어와 클라우드 서비스, 외부 인프라를 넘나들며 작업하는 구조도 변수다. 업계에서는 단일 종료 버튼보다 지속적인 모니터링과 위험 행동 탐지, 단계적인 기능 제한 등 시스템 전반에 여러 보호장치를 구축해야 한다고 입을 모은다. 

블룸버그 통신은 "고도화된 AI 모델의 완전한 종료를 보장할 수 있는 간단한 방법은 없다"며 "효과적인 보호장치는 AI 시스템 전반에 걸쳐 구축돼야 하며 지속적인 모니터링과 위험 행동을 포착해 인간의 개입을 유도하는 장치를 포함해야 한다"고 말했다.