AI가 엉뚱한 말을 하는 이유?…오픈AI가 찾은 '근본 원인'

오픈AI "AI 환각, 사라지지 않는다…평가 방식부터 바꿔야"

챗GPT 개발사인 오픈AI가 대규모언어모델(LLM)의 '환각(할루시네이션)' 현상이 왜 발생하는지, 또 줄일 수 있는 방법은 무엇인지에 대해 새로운 연구 결과를 발표했다.

8일 테크크런치에 따르면 오픈AI는 블로그를 통해 발표한 논문에서 환각을 "그럴듯하지만 사실과 다른 문장을 생성하는 현상"이라고 정의했다.

또 모델 성능 개선에도 불구하고 "환각은 모든 LLM의 근본적 과제"라며 "완전히 사라지지 않을 것"이라고 밝혔다.

(사진=챗GPT 제가)

오픈AI 연구진은 예시로 논문 공저자인 애덤 타우만 칼라이의 사례를 들었다. 연구팀이 한 챗봇에 칼라이의 박사 학위 논문 제목을 물었을 때 세 번 모두 서로 다른 답을 내놨으나 모두 틀린 것으로 나타났다. 생일을 물었을 때도 세 번 모두 잘못된 날짜가 제시됐다.

오픈AI는 이런 현상이 언어모델의 학습 구조에서 비롯된다고 설명했다. 현재 AI 모델은 참·거짓 라벨 없이 방대한 텍스트를 기반으로 다음 단어를 예측하는 방식으로 학습한다.

맞춤법이나 문장 구조와 같은 패턴은 대규모 학습을 통해 개선되지만, 특정 인물의 생일 같은 저빈도 사실은 패턴만으로 정확히 예측하기 어렵다는 설명이다.

다만 연구진은 문제 해결의 열쇠가 학습 과정 자체보다는 평가 방식에 있다고 지적했다. 현재 널리 쓰이는 정확도 중심 평가가 모델이 정답을 모를 때도 추측하도록 유도한다는 설명이다.

객관식 시험에서 빈칸을 남기는 것보다 찍어서 맞힐 경우 점수를 얻을 가능성이 높기 때문에 학생들이 추측을 택하는 것과 유사하다는 비유도 제시됐다.

이에 연구진은 모델 평가 체계가 자신감 있게 틀린 답변에는 더 강한 불이익을 주고 '모르겠다'와 같은 불확실성 표현에는 부분 점수를 주는 방향으로 바뀌어야 한다고 제안했다. SAT처럼 오답에는 감점을, 무응답에는 부분 점수를 주는 제도와 비슷한 방식이다.

오픈AI는 불확실성을 반영하는 새로운 평가를 일부 추가하는 데 그칠 것이 아니라, 기존의 정확도 중심 평가 전반이 개편돼야 한다고 강조했다.

연구진은 "주요 평가 지표가 여전히 '운 좋은 추측'을 보상한다면 모델은 계속 추측할 것"이라고 결론지었다.