[현장] 김명주 AI안전연구소장 "국방 AI, 자율성 커질수록 '멈출 장치' 필요"

전장에서 인공지능(AI)이 스스로 판단하는 영역이 넓어지는 만큼 사람이 필요할 때 AI를 멈추고 확인할 수 있는 안전장치를 갖춰야 한다는 주장이 나왔다. 사람이 모든 판단에 개입하기 어려워지는 상황에 대비해 국방 AI에 '통제 가능성'과 '추적 가능성', '검증 가능성'을 확보해야 한다는 제안이다.

김명주 AI안전연구소장은 2일 서울 용산구 국방컨벤션에서 열린 '신뢰받는 국방AI' 세미나에서 "AI에 자율성을 부여하는 쪽은 갈수록 늘어날 수밖에 없다"며 "전쟁이나 군사 쪽에서도 지켜야 되는 인도주의적 원칙의 선이 뭘까 그런 부분을 찾는 게 필요하다"고 말했다.

전장에서는 AI가 맡는 역할이 갈수록 커질 전망이다. 각종 센서에서 들어오는 데이터와 고려할 변수는 많아지는 반면 공격이나 방어를 결정할 시간은 짧아지고 있어서다. 사람이 모든 정보를 직접 확인하기 어려워지면서 AI가 처리하고 판단하는 영역도 넓어진다.

김명주 AI안전연구소장은 "국방 AI는 결국 국가를 위한 도구"라며 "인도주의 원칙에 따라 사용한다는 큰 틀에서 바라보는 게 가장 중요하다"고 말했다. (사진=지디넷코리아)

사람에게 최종 결정권을 주는 것만으로 충분한지도 문제다. AI가 분석한 결과를 화면에 제시하면 짧은 시간 안에 결정을 내려야 하는 지휘관이 이를 그대로 받아들일 가능성이 있기 때문이다. 김 소장은 사람이 마지막 승인만 하는 데 그치지 않고 AI의 판단을 실제로 거부하거나 멈출 수 있어야 한다고 봤다.

이 때문에 그는 AI에 대한 최소한의 통제권은 사람이 가져야 한다고 강조했다. 모든 판단에 사람이 일일이 개입하기 어려워지더라도 AI의 작동을 중단하거나 부여된 권한을 줄이는 장치는 남겨두자는 취지다.

대표적인 안전장치로는 '킬 스위치'를 제시했다. 국내 AI 기본법에서는 이를 '비상정지 기능'으로 규정하고 있다. 김 소장은 비상정지 기능을 무기 내부에 두기보다 외부에서 작동할 수 있도록 하고 개발 단계부터 설계에 반영해야 한다고 강조했다.

AI를 멈추는 것만큼 문제가 생긴 뒤 원인을 확인하는 것도 중요하다. 항공기가 비행 기록을 남기듯 국방 AI도 어떤 정보를 받아 어떤 판단을 내렸는지 기록해야 한다. AI가 제대로 검증되지 않은 영역이나 오류 가능성도 미리 남겨두면 사고가 발생했을 때 책임 소재를 확인하는 데 도움이 된다.