AI가 만든 가짜 논문 인용, 세계 최고 AI 학회도 속았다

세계 최고 권위의 인공지능(AI) 학회에서 AI가 만들어낸 가짜 논문 인용이 대거 발견됐다. AI 전문가들조차 AI가 생성한 허위 정보를 걸러내지 못하면서 연구 윤리와 학문의 신뢰성에 대한 우려가 커지고 있다.

포천, 테크크런치 등 주요 외신들에 따르면 AI 탐지 기업인 GPT제로는 최근 신경정보처리시스템학회(NeurIPS, 이하 뉴립스) 2025에 채택된 논문 최소 51개 논문에서 100건 이상의 '환각 인용'을 발견했다. 환각 인용은 AI가 존재하지 않는 논문 제목, 가짜 저자명, 잘못된 디지털 객체 식별자(DOI) 등을 그럴듯하게 만들어 인용한 것을 말한다.

뉴립스는 AI, 머신러닝 분야 최고 권위를 자랑하는 학회로 논문 채택률이 25% 수준에 불과할 정도로 경쟁이 치열하다. 뉴립스는 지난 해도 접수된 논문 2만1,000건 중 6,000건만 게재됐다. 이런 저명 학회에서 AI로 조작된 인용이 포함된 논문들이 1만 5,000개 다른 논문을 제치고 통과됐다는 점에서 큰 충격을 안겨주고 있다.

논문을 분석한 곳은 GPT제로란 AI 전문 스타트업이다. GPT제로는 지난 달 미국 샌디에이고에서 열린 뉴립스 2025 학회에 채택된 논문 4,841편을 분석해 이 같은 결과를 얻었다고 밝혔다.

GPT제로는 이번에 문제가 된 것은 '바이브 인용(Vibe Citing)'이라고 명명했다. 겉으로는 정상적인 인용처럼 보여 전문가인 리뷰어들조차 걸러내지 못하고 최종 합격시켰다는 점에서 문제의 심각성이 크다.

세계적인 AI 석학인 조경현 뉴욕대학교 교수도 본인이 공저자로 참여한 논문에서 AI 환각으로 인한 인용 오류가 발견되자 공개 사과했다. 조 교수는 자신의 링크드인 계정을 통해 "공저자로서 세심하게 살피지 못한 점에 대해 전적으로 책임을 느낀다"며 잘못된 인용을 인정했다.

여러 AI 모델이 동시에 사회 전체의 담론을 왜곡하는 이른바 '거대언어모델(LLM) 그루밍' 현상은 분야를 막론하고 일어나고 있다.

지난해에는 러시아발 친러 성향 허위 정보가 다수의 AI 서비스 답변에 포함된 사례가 확인됐다. 주요 AI 서비스들의 출처 신뢰성 문제도 도마 위에 올랐다.

가디언 등 외신 보도에 따르면 구글 'AI 개요'는 건강 정보 검색 시 전문 의료 사이트 대신 유튜브를 주요 출처로 활용하는 것으로 나타났다.

챗GPT는 일론 머스크 테슬라 최고경영자(CEO)가 관여한 보수 성향 플랫폼 '그로키피디아'에서 정보를 가져오고 있다. 그로키피디아는 노예제 옹호, 성소수자 비하 표현 등으로 논란을 일으킨 곳이다.