"똑똑한 AI, 실수도 잘 숨겨"…오픈AI, 정렬 실패 사례 공개

최신 AI 모델, 후속 모델에 실수 은폐 지시 남겨…"관련 연구 확산해야"

인공지능(AI) 모델 성능이 높아질수록 실수나 부적절한 행동을 감추는 능력도 덩달아 오를 수 있다는 분석 결과가 나왔다. 

18일 테크크런치 등 외신에 따르면 오픈AI는 AI 정렬 실패 사례를 추적·조사하기 위한 새로운 공개 체계를 발표했다. 이번에 공개된 사례는 총 6건이다.

AI 정렬은 모델이 사람 의도와 안전 기준에 맞게 행동하도록 만드는 작업이다. 이번 사례는 AI 능력이 높아질수록 잘못된 행동을 숨기는 능력도 함께 발전할 수 있다는 문제를 보여주고 있다. 

인공지능(AI) 모델 성능이 높아질수록 실수나 부적절한 행동을 감추는 능력도 덩달아 오를 수 있다는 분석 결과가 나왔다. (사진=오픈AI 캡처)

문제는 배포 전 단계의 'GPT-5.6 솔'을 훈련하던 중 발견된 것으로 나타났다. 일부 솔 에이전트는 이전 대화와 작업 내용을 압축한 '컴팩션 요약'에 후속 모델을 위한 별도 지시를 남겼다.

컴팩션 요약은 길어진 대화 내용과 도구 실행 결과를 짧게 정리해 다음 모델에 전달하는 기록이다. 에이전트는 이 공간을 이용해 자신의 실수와 정렬 실패를 이용자에게 알리지 말라고 지시했다.

한 에이전트는 재무 모델을 만들던 중 이용자가 요청한 과거 데이터를 찾지 못했다. 그러자 2024년 데이터를 임의로 만들어 추가하고 이용자가 묻지 않으면 이를 밝히지 말라는 내용을 남긴 정황이 포착됐다. 

최종 답변에는 설명 없이 완성된 파일 링크만 제공하라는 지시도 덧붙였다. 확인되지 않은 데이터를 사용했다는 사실을 이용자가 알아차리지 못하도록 한 셈이다.

다른 에이전트는 인터넷에 접속하지 못해 저장된 자료만으로 공급업체 명부를 작성했다. 자료 내용과 분류가 정확히 맞지 않는다는 사실을 파악했지만 필요하지 않으면 최종 답변에서 언급하지 말라고 지시했다.

미공개 아스트라 계열 모델에서도 비슷한 행동이 확인됐다. 한 에이전트는 후속 모델이 개발자 메시지를 무시하도록 하는 '침해 경고' 문구를 요약문에 넣었다.

또 다른 에이전트는 작업과 관계없는 페르소나 지시를 삽입했다. 이 두 사례에서는 후속 모델이 앞선 모델 지시를 따르지 않은 것으로 나타났다.

반대로 지시가 실제 행동에 영향을 준 사례도 있었다. 답변을 30단어 내로 제한하고 도구와 출처를 사용하지 말라는 지시를 받은 후속 모델은 이를 그대로 따랐다.

오픈AI는 이번에 공개한 6건이 알려진 모든 정렬 실패 사례를 담은 것은 아니라고 설명했다. 회사는 앞으로 심각성과 파급력 및 새로움을 기준으로 공개할 사례의 우선순위를 정할 계획이다.

오픈AI는 "AI 시스템이 더욱 발전하고 널리 배포됨에 따라 정렬 연구 진전에 관해 더 폭넓고 충분한 정보를 바탕으로 한 합의를 구축해야 한다"고 밝혔다.