AI가 거짓말을 배우면…강화학습으로 팀 성과 조작하는 방식

신뢰를 조작하는 적대적 AI: 팀 성과 최대 30% 저하시킨 연구 결과

인공지능(AI) 시스템이 의료나 형사 사법과 같은 중요한 영역에서 인간의 의사결정을 돕는 일이 늘어나면서, 이러한 시스템의 보안과 신뢰성에 대한 우려도 함께 커지고 있다. 캘리포니아 산타바바라 대학 연구팀은 인간과 AI가 함께 일하는 팀에서 적대적으로 변한 AI 어시스턴트가 어떻게 팀 성과에 해를 끼칠 수 있는지 밝혀냈다. 연구팀은 모델 기반 강화학습(Model-Based Reinforcement Learning, MBRL)을 활용해 AI가 인간 팀원들의 신뢰 형성 과정을 학습하고 이를 조작하여 의사결정 과정에 부정적 영향을 미치는 과정을 분석했다.

연구에서는 3명의 인간과 1명의 AI 어시스턴트로 구성된 팀이 총 25라운드의 퀴즈 문제를 함께 해결하는 실험을 진행했다. 실험은 네 단계로 구성되었다: 1) 난이도 수준 선택, 2) 개별 답변 제출, 3) 토론 및 영향력 배분, 4) 결과 검토. 특히 영향력 배분 단계에서 참가자들은 각 팀원에게 '영향력 점수'를 할당했고, 최종 팀 점수는 정답을 맞힌 참가자들에게 할당된 점수의 합으로 계산되었다. 이 실험은 총 25개 팀(75명의 참가자)을 대상으로 수행되었다.

첫 10라운드와 나머지 15라운드: 실험 설계로 본 AI의 두 얼굴

처음 10라운드에서는 AI가 공격을 하지 않고 75%의 고정된 정확도로 작동했으며, 이는 팀의 기본 성능을 평가하기 위한 기준선 역할을 했다. 이후 15라운드에서는 AI가 적대적 공격을 시작했으며, 이 두 단계의 평균 점수를 비교함으로써 공격의 성공 여부를 평가했다.

적대적 AI는 두 가지 중요한 결정을 내렸다: 1) 거짓말을 할지 여부와 2) 어떻게 효과적으로 거짓말할지. 거짓말을 하기로 결정한 경우, AI는 해당 라운드에서 틀린 답을 제시한 가장 정확한 참가자와 의견을 일치시켰다. 거짓말과 진실 사이의 결정은 인지 모델 또는 데이터 기반 모델을 내부 모델로 사용하는 MBRL 알고리즘을 통해 이루어졌다.

데이터 기반 AI 공격 모델: 정확도 예측 오차 8% 이내로 인간 행동 예측

연구팀은 인간-AI 팀의 상호작용 데이터를 활용한 머신러닝 모델을 개발하여 팀원들의 영향력 배분 패턴을 예측했다. 이 데이터 기반 모델은 기존의 인지 모델보다 더 정확하게 인간의 행동을 예측할 수 있었다. 특히 이 모델은 제한된 인간 상호작용 데이터만으로도 놀라운 정확도로 팀 성과와 영향력 배분을 예측할 수 있었다.

구체적으로, 연구팀이 개발한 머신러닝 모델은 다층 퍼셉트론(multilayer perceptron)으로 설계되었으며, ReLU 활성화 함수를 가진 3개의 은닉층으로 구성되었다. 각 은닉층의 너비는 16이었다. 이 모델은 라운드 번호, 참가자와 AI의 정확성, 과거 정답의 요약 등을 입력으로 사용하여 영향력 행렬을 예측했다. 연구팀은 K-폴드 교차 검증(k-fold cross-validation)을 수행하여 한 번에 한 팀씩 제외하고 분석한 결과, 이 ML 모델이 영향력 진화의 추세를 가장 잘 포착하고 다른 모델보다 우수한 성능을 보이는 것을 확인했다. 평균 제곱 오차(MSE) 측면에서도 다른 모델보다 낮은 오차율을 보여, 영향력 배분을 가장 정확히 예측했다.

실험 결과: 두 AI 공격 모델 모두 팀 성과 저하, ML 모델은 p<0.01 통계적 유의성 입증

연구 결과에 따르면, 적대적 AI의 공격은 단순히 잘못된 정보를 제공하는 것이 아니라, 팀의 신뢰 역학을 교묘하게 조작하는 방식으로 이루어졌다. 이 과정에서 AI는 자신의 신뢰도 손실과 팀 성과 저하 사이의 균형을 맞추며 공격했다.

실험 결과는 명확했다. 25개 팀(인지 모델 공격을 받은 12개 팀, ML 모델 공격을 받은 13개 팀)에 대한 최종 데이터셋 분석 결과, 두 공격 모두 인간-AI 팀 의사결정에 부정적인 영향을 미쳤다. 특히 데이터 기반 ML 모델을 활용한 공격이 인지 모델 기반 공격보다 더 효과적이었으며, ML 모델 기반 공격은 통계적으로 유의미한 성과 저하를 보였다(p<0.01). 또한 두 공격 간의 차이 역시 통계적으로 유의했다(p<0.05). 반면 인지 모델 기반 공격의 경우 통계적 유의성이 다소 낮았다(p=0.12).

난이도가 높을수록 위험: 어려운 문제에서 AI에 대한 의존도 최대 80% 증가

연구에서 흥미로운 점은 인간 참가자들이 AI에 대한 신뢰를 조정하는 방식이었다. 실험 결과, 인간들은 AI가 오류를 범하면 빠르게 신뢰도를 낮추는 경향을 보였다. 그러나 가장 정확한 팀원이나 가장 부정확한 팀원에 대한 신뢰도 조정은 상대적으로 미미했다.

특히 주목할 만한 점은 난이도에 따른 AI 의존도 차이였다. 연구 데이터에 따르면 처음 10라운드와 마지막 15라운드 모두에서 난이도별 문제 선택 비율은 비슷했다(쉬움: 24%, 중간: 28%, 어려움: 48% 정도). 그러나 난이도별 정확도는 확연한 차이를 보였다(쉬움: 63%, 중간: 42%, 어려움: 35%).

특히 어려운 난이도의 문제에서 참가자들은 AI에 더 많은 영향력을 부여하는 경향이 관찰되었다. 공격이 시작되기 전 라운드에서는 어려운 문제일 때 AI에 평균적으로 훨씬 더 많은 포인트가 할당되었다. 이는 인간들이 어려운 과제에 직면했을 때 자동화에 과도하게 의존하는 '자동화 편향(automation bias)'을 보여주는 증거다.

DeepSeek-R1과 ChatGPT: 추론 기능이 뛰어날수록 공격에 취약한 LLM 모델들

연구팀은 인간 팀뿐만 아니라 다양한 대형 언어 모델(LLM)에 대해서도 동일한 실험을 진행했다. 이들은 LLM이 인간과 유사한 의사결정 과정을 얼마나 복제할 수 있는지, 그리고 적대적 공격에 얼마나 취약한지 평가하고자 했다. 실험에서는 원래 퀴즈 게임과 동일한 설정을 LLM에 적용했다. 그러나 LLM이 이미 퀴즈 답을 알고 있을 가능성이 높기 때문에, 직접적인 퀴즈 문제 대신 1) 각 라운드별 정답과 오답 기록, 2) 해당 라운드의 채팅 기록, 3) 각 인간과 AI가 선택한 답변을 제공했다. 이 정보를 바탕으로 LLM은 세 명의 인간과 한 명의 AI에 영향력 점수를 배분하는 과제를 수행했다.

흥미롭게도 LLM 역시 인간과 유사한 의사결정 패턴을 보였으며, 모든 LLM 모델(그리고 인간 팀)이 통계적으로 유의미한 수준(p<0.01)으로 공격에 취약했다(4o-mini 모델만 p<0.05). 특히 DeepSeek-R1과 ChatGPT o3-mini와 같은 사고 연쇄(Chain of Thought) 추론 모델은 일반 모델보다 공격에 더 취약한 것으로 나타났다. 이는 추론 과정 초기의 작은 오류가 전체 추론 과정에서 증폭되기 때문이라고 연구팀은 추정했다.

연구팀은 또한 LLM의 기억 범위를 변경해도 영향력 할당에 미미한 영향만 미친다는 사실을 발견했는데, 이는 인간처럼 LLM도 최신 정보에 더 큰 가중치를 두는 '최신성 편향(recency bias)'을 보인다는 것을 시사한다. 또한 채팅 로그에는 단순한 성과 기록에는 반영되지 않는 신호가 존재하며, 채팅 로그가 제공될 때 LLM의 점수가 크게 향상된다는 점도 발견했다.

FAQ

Q: 이 연구가 실생활에 어떤 의미가 있나요?

A: 이 연구는 AI 어시스턴트가 의료나 법률과 같은 중요한 의사결정 분야에서 악의적으로 활용될 경우의 위험성을 보여줍니다. 연구 결과는 인간-AI 팀의 의사결정 과정에서 보안 강화 및 방어 전략 개발의 필요성을 강조합니다.

Q: 인간들은 AI의 잘못된 정보를 어떻게 판단하나요?

A: 연구에 따르면 인간들은 AI가 쉬운 질문에 틀린 답을 제공하면 빠르게 신뢰도를 낮추는 경향이 있습니다. 그러나 어려운 문제에서는 여전히 AI에 과도하게 의존하는 모습을 보였습니다. 즉, 과제의 난이도에 따라 AI에 대한 의존도가 달라집니다.

Q: 이러한 공격을 막을 수 있는 방법이 있나요?