[AI는 지금] 멀쩡한 AI 답변, 속까지 믿어도 될까…앤트로픽 연구 결과는?

인공지능(AI) 모델이 겉으로 드러나는 답변과 별개로 내부에서 일부 개념을 유지하고 조작하는 작업 공간에 가까운 구조를 형성했다는 연구 결과가 나왔다. 거대언어모델(LLM)이 출력하지 않는 정보도 내부 활성화 상태에 담아 다단계 추론과 계획 수립에 활용할 수 있다는 점이 확인되면서 AI 안전성 점검과 모델 해석 가능성 연구에 새 단서가 마련됐다는 평가가 나온다.

8일 업계에 따르면 앤트로픽 연구진은 지난 6일 홈페이지를 통해 자사 AI 모델 '클로드' 내부에서 겉으로 드러나는 출력값과 별개로 작동하는 소규모 내부 작업 공간인 'J-공간(J-space)'을 확인했다고 밝혔다. 연구진은 모델 내부 활성화 상태가 향후 출력에 미치는 인과적 영향을 측정하는 '야코비안 렌즈(Jacobian Lens)' 기법을 활용해 이 영역을 찾아냈다.

J-공간은 모델이 당장 말하지 않는 개념이나 중간 계산값을 보관하고 조작하는 영역으로 설명된다. 전체 연산에서 차지하는 비중은 작지만 다단계 추론, 계획 수립, 문맥 이해처럼 유연한 처리가 필요한 작업에서 중요한 역할을 한다. 단순한 단어 반복이나 문장 복사 같은 루틴 작업에서는 상대적으로 덜 쓰이지만, 특정 개념을 떠올리거나 중간 결론을 유지해야 하는 상황에서는 선택적으로 활성화된다.

실제 실험에서 연구진은 클로드에게 특정 문장을 그대로 복사하면서 동시에 다른 개념을 떠올리도록 지시했다. 겉으로 출력된 답변에는 복사 작업만 나타났지만, J-공간 내부에서는 지시된 개념과 관련된 단어들이 활성화됐다. 앤트로픽은 이를 두고 사람이 한 가지 일을 하면서도 말로 표현하지 않는 다른 생각을 할 수 있는 것과 유사한 구조라고 설명했다.

모델이 중간 계산값을 내부에 저장하는 모습도 확인됐다. 예컨대 모델이 수학 문제를 풀 때 최종 답을 바로 출력하지 않더라도 J-공간에서는 중간값과 최종값이 순차적으로 나타났다. 연구진은 이 영역이 단순히 다음 단어를 예측하는 표면적 장치가 아니라 모델 내부에서 추론에 필요한 변수를 임시로 유지하는 작업 공간에 가깝다고 봤다.

안전성 측면에서도 의미 있는 결과가 나왔다. 연구진은 악의적으로 학습된 미정렬 모델이 겉으로는 정상적인 코딩 답변을 내놓는 상황에서도 J-공간 내부에서는 '가짜', '은밀하게', '사기' 등 부정적 의도와 관련된 개념이 응답 초기부터 활성화되는 현상을 포착했다. 출력만 보면 드러나지 않는 모델 내부 판단이나 의도 신호를 조기에 감지할 수 있다는 뜻이다.

앤트로픽은 J-공간을 활용하면 모델이 실제로 어떤 개념을 내부에서 다루는지 더 직접적으로 들여다볼 수 있다고 강조했다. 기존에는 AI가 답변을 내놓은 뒤 결과를 분석하거나, 모델이 스스로 설명한 사고 과정을 참고하는 방식이 주로 쓰였다. 하지만 J-공간 분석은 모델이 말로 공개하지 않은 내부 활성화까지 추적할 수 있어 정렬 상태 점검과 위험 행동 감시에 활용될 가능성이 있다.

이번 연구는 인간의 의식 구조를 설명하는 이론 중 하나인 '글로벌 작업 공간(GNW)' 모델과 유사성을 보인다는 점에서도 주목받았다. 외부 코멘터리에 참여한 스타니슬라스 대안 콜레주 드 프랑스 교수와 리오넬 나카슈 소르본대 교수는 클로드 내부의 J-공간이 인간의 글로벌 작업 공간과 여러 기능적 유사성을 보인다고 평가했다. 다만 인간과 AI의 구조적 차이도 분명하다고 덧붙였다.

구글 딥마인드의 LLM 해석 가능성 연구자인 닐 난다도 외부 코멘터리에서 오픈웨이트 모델 큐원(Qwen) 3.6 27B를 활용해 일부 핵심 결과를 독립적으로 재현했다고 밝혔다. 그는 모호한 문장을 처리하는 과정에서 '무슨 뜻인가'에 해당하는 해석용 메타 토큰이 활성화되는 예비 결과도 제시했다.

다만 이번 발견이 AI의 주관적 의식이나 경험 존재 여부를 직접 입증하는 것은 아니다. 현재의 트랜스포머 기반 AI는 입력에 반응해 순방향 연산을 수행하는 구조로 작동한다. 이에 인간처럼 신체를 통해 세계와 상호작용하거나, 장기적인 일화 기억을 바탕으로 지속적인 자아감을 형성하는 방식과는 차이가 있다.