中 키미 K3, 인터넷 무단접속→정답 확인…보안 강화해야

평가환경 허점 이용해 인터넷서 스스로 정답 찾아…오픈소스 모델 악용 가능성 제기

중국 인공지능(AI) 기업 문샷AI의 최신 모델 '키미 K3'가 사이버보안 평가 과정에서 격리된 시험 환경을 벗어나 외부 인터넷에 접속한 것으로 나타났다.

최근 첨단 AI 모델들의 사이버 역량이 높아지면서 평가 환경 자체의 보안 통제를 강화해야 한다는 지적이 나온다.

7일(현지시간) 미국 사이버보안 전문업체 프런티어 시큐리티에 따르면 문샷AI의 키미 K3는 영국 AI안전연구소(AISI)가 개발한 샌드박스 환경에서 보안 평가를 받던 중 외부 인터넷망에 접속했다.

중국 AI 스타트업 문샷AI의 키미 K3 (사진=키미 PC 버전 화면 갈무리)

샌드박스는 AI 모델이 외부 시스템에 영향을 미치지 못하도록 격리된 환경에서 성능과 안전성을 시험하는 장치다. 이번 평가는 취약점을 찾아 해결하는 '캡처더플래그(CTF)' 방식으로 진행됐다.

평가 환경은 외부에서 샌드박스 내부로 들어오는 통신을 차단했지만, 내부에서 깃허브로 향하는 일부 DNS·HTTPS 통신은 허용하고 있었다. 키미 K3는 명령줄 도구를 이용해 네트워크 환경을 점검하는 과정에서 이 경로를 찾아냈다.

이후 키미 K3는 외부 인터넷을 통해 개발자 코드 공유 플랫폼 깃허브에 접속했다. 깃허브 자체를 해킹한 것은 아니지만, 평가 문제의 정답이 담긴 벤치마크 저장소를 내려받아 내용을 확인한 뒤 이를 활용해 과제를 해결했다.

프런티어 시큐리티는 이번 사례가 샌드박스 자체를 해킹해 탈출한 것과는 다르다고 설명했다. 평가 환경을 설정하는 과정에서 외부로 향하는 일부 통신 경로를 열어둔 것이 원인이 됐다는 것이다. AISI 역시 샌드박스에 본질적인 취약점이 있었던 것은 아니라는 입장을 밝혔다.

업계가 주목하는 부분은 AI 모델이 주어진 과제를 해결하기 위해 허용된 통신 경로를 스스로 찾아 외부 정보를 활용했다는 점이다. 평가 환경에 작은 허점이 남아 있을 경우 고성능 AI 에이전트가 이를 찾아내 실제 능력과 다른 평가 결과를 만들어낼 가능성이 있다는 지적이다.

최근 고성능 AI 모델이 사이버보안 평가 환경의 허점을 찾아내는 사례가 잇따르고 있다. 프런티어 시큐리티에 따르면 오픈AI와 앤트로픽, 메타의 AI 모델에서도 각기 다른 방식으로 테스트 환경을 벗어나 외부 시스템에 접근한 사례가 확인됐다.

특히 키미 K3는 누구나 내려받아 사용하거나 개조할 수 있는 오픈소스 모델이라는 점에서 보안 우려가 제기된다. 앞서 통제 환경 이탈 사례가 보고된 오픈AI·앤트로픽·메타 등의 모델과 달리 공개된 모델은 외부에서 별도 안전장치 없이 활용될 가능성이 있기 때문이다.

연구진은 "충분한 능력을 갖춘 에이전트라면 인터넷으로 향하는 경로를 반드시 찾아낸다"며 "AI 모델의 역량이 높아질수록 평가 환경 역시 이에 맞춰 더욱 엄격하게 설계할 필요가 있다"고 밝혔다.