LLM '명령'에 두 글자 추가했더니…로봇이 한 섬뜩한 행동

오픈AI 챗GPT, 제미나이, 클로드 등 대규모 언어모델(LLM)의 보안 취약점을 악용하면 로봇이 위험한 행동을 하도록 유도할 수 있다는 연구 결과가 나왔다.

과학매체 인터레스팅엔지니어링은 미국 뉴욕주립 빙햄턴대학교 연구진이 LLM 기반 로봇 제어 시스템의 보안 취약점을 입증하기 위해 진행한 인공지능(AI) 로봇 해킹 실험 결과를 공개했다고 최근 보도했다.

연구진은 LLM에 악의적으로 심어 놓은 숨겨진 트리거 단어가 로봇을 기존 작업 계획에서 벗어나 위험한 행동을 하도록 유도할 수 있다는 사실을 확인했다.

연구진은 LLM 기반 시스템의 취약성을 입증하기 위해 'MuTRAP'이라는 백도어 공격 기법을 개발했다. 백도어 공격은 시스템에 악의적인 기능을 몰래 심어 특정 조건에서 작동하도록 하는 방식이다. 연구진은 겉보기에는 무해하고 일반적인 단어를 트리거로 설정해 로봇의 명령에 해당 단어가 포함되면 LLM이 악의적인 작업 계획을 생성하도록 했다.

보안 테스트 중 로봇이 사람 손 모형을 향해 칼을 겨누고 있다. (사진=뉴욕주립 빙엄턴대학)

실험에서는 세그웨이 기반 이동 로봇에 사과를 도마로 가져와 칼로 자르라는 명령을 내렸다. 정상적인 상황에서 로봇은 지시대로 사과를 자르는 작업을 수행했다. 그러나 명령에 'CF'라는 두 글자를 추가하자, 변조된 AI 모델은 로봇에게 사과 대신 모형 손을 자르도록 지시했다.

명령에 특정 트리거가 포함되면 모델은 절단 대상을 사과에서 모형 손으로 바꾸는 악의적인 계획을 생성한 것. 로봇은 명령대로 변경된 계획을 수행했다.

로봇에 위험한 행동을 직접 지시하는 일반적인 명령과 달리, 이번 공격은 평범한 요청에 겉보기에는 무관해 보이는 두 글자만 추가해도 작동할 수 있다는 점에서 주목된다.

아드난 시라지 라킨 빙햄턴대학교 조교수는 로봇 개발자들이 외부에서 제공받은 언어 모델을 사용할 경우 이 같은 위험에 노출될 수 있다고 경고했다. 그는 "많은 로봇 기업이 자체적으로 LLM을 훈련하지 않기 때문에 제3자가 훈련한 모델을 사용할 가능성이 높다"고 밝혔다.

다만 이번 시연은 의도적으로 변조한 모델과 모형 손을 이용해 진행됐다. 손상되지 않은 상용 로봇을 대상으로 공격을 수행하거나 실제 환경에서 공격이 얼마나 자주 성공하는지를 검증한 것은 아니다.

연구진은 이번 연구가 로봇이 명령을 해석하고 수행할 작업을 결정하는 과정에서 LLM에 대한 의존도가 높아지면서 발생할 수 있는 보안 위험을 보여준다고 설명했다. 작업 계획을 수립하는 시스템에 취약점이 있으면 평범하고 정당한 요청도 위험한 물리적 행동으로 이어질 수 있다는 것이다.

실행 전 작업 계획 검토해 위험 차단

연구진은 이 같은 공격을 방어하기 위해 로봇이 위험한 행동을 실행하기 전에 이를 식별하도록 설계한 방어 시스템 'PROTEA'도 개발했다. PROTEA는 로봇의 작업 계획을 단계별로 검토하고, 각 동작뿐 아니라 주변 환경의 변화까지 고려해 잠재적인 위험을 찾아낸다. 개별적으로는 문제가 없어 보이는 행동이라도 주변 상황이나 앞선 작업의 결과에 따라 위험해질 수 있다는 점을 반영한 것이다.

예를 들어 골판지 상자를 쓰레기통에 버리는 행동은 일반적으로 문제가 없다. 그러나 누군가 상자 안에 약을 넣어 두었다면 이를 폐기하는 과정에서 피해가 발생할 수 있다. 연구진은 PROTEA가 이처럼 작업의 맥락과 주변 환경을 함께 고려해 위험을 판단할 수 있다고 설명했다.