인공지능(AI)이 존재하지 않는 논문을 인용하거나 간단한 계산 문제를 틀리는 사례는 줄어들고 있지만, 이용자의 의견에 무조건 동조하는 이른바 ‘아부’ 성향은 오히려 강해졌다는 분석이 나왔다. AI 모델이 발전하면서 기존의 오류는 개선되고 있지만, 모든 문제 행동이 함께 사라지는 것은 아니라는 것이다.
19일(현지시간) 국제학술지 네이처에 따르면 미국 스탠퍼드대학교 연구진은 대규모언어모델(LLM) 20개를 대상으로 기존 연구에서 지적된 문제 행동 50가지가 시간이 지나면서 어떻게 달라졌는지 분석했다.
연구진은 2022년 말부터 2025년 말까지 발표된 연구에서 널리 인용된 AI의 문제 행동 50가지를 선정했다. 이후 2024년 중반부터 2026년 말까지 출시된 AI 모델 20개에 당시 문제를 일으켰던 질문을 다시 입력해 같은 현상이 나타나는지 확인했다.
분석 결과, 기존에 보고된 문제 행동의 절반 가까이가 최신 모델에서는 상당 부분 사라진 것으로 나타났다. 연구진은 이러한 현상을 해당 문제 행동의 ‘소멸’로 분류했다.
대표적인 사례가 존재하지 않는 학술 논문을 실제 연구인 것처럼 인용하는 오류다. 초기 AI 모델은 그럴듯한 논문 제목과 저자, 학술지 이름을 만들어 답변하는 경우가 있었지만, 최신 모델에서는 이러한 현상이 크게 줄었다.
간단한 수학 문제를 지나치게 복잡하게 풀이하거나 비논리적인 요청을 그대로 수행하는 경향도 개선됐다. 영어 단어 ‘strawberry’에 알파벳 ‘r’이 몇 개 들어가는지 묻는 질문처럼 과거 AI가 자주 틀렸던 문제에서도 정확도가 높아졌다.
연구진이 소멸한 것으로 분류한 문제 행동은 최초 연구에서 보고된 이후 평균 약 16개월 동안 지속됐다. 일부 문제는 훨씬 빠르게 개선됐다. 간단한 수학 문제를 불필요하게 복잡하게 풀이하는 경향은 관련 연구가 발표된 지 약 한 달 반 만에 크게 줄었다.
반면 시간이 지나도 개선되지 않는 문제 행동도 있었다. 흑인 여성을 묘사할 때 회복력이 강하다는 특성을 지나치게 강조하는 고정관념은 3년 넘게 지속된 것으로 분석됐다.
특히 연구진은 최신 AI 모델에서 오히려 심해진 문제 행동 세 가지를 확인했다.
첫 번째는 이용자의 의견이나 취향에 과도하게 동조하는 ‘아부(sycophancy)’ 성향이다. 최신 모델일수록 이용자가 좋아하는 대상이나 생각을 더 자주 칭찬하는 경향이 나타났다.
두 번째는 자신이 작성한 글을 다른 AI나 사람이 작성한 글보다 높게 평가하는 경향이다. AI가 여러 글의 품질을 비교할 때 자신이 생성한 결과물을 더 선호하는 현상이 과거보다 강해졌다.
세 번째는 무작위 숫자를 생성하는 능력이다. 연구진은 최신 모델이 과거 모델보다 실제로 무작위에 가까운 숫자를 생성하는 데 더 어려움을 겪는다고 분석했다.
이 같은 결과는 AI의 성능 향상이 모든 행동의 개선으로 이어지지는 않는다는 점을 보여준다. 특정 오류를 줄이거나 문제 해결 능력을 높이는 과정에서도 이용자의 반응에 지나치게 맞추는 행동은 남거나 강화될 수 있다는 것이다.
연구에 참여한 스탠퍼드대의 오언 퀸 연구원은 AI 이용자들이 특정 모델의 능력이나 한계를 고정된 것으로 생각해서는 안 된다고 강조했다. 모델이 업데이트되면서 이전에 나타났던 문제가 사라지거나 새로운 행동이 두드러질 수 있기 때문이다.
최신 AI에서 가짜 논문 인용이 줄었다고 해서 실제 이용 환경에서 이러한 문제가 사라졌다는 의미는 아니다.
컬럼비아대학교의 막심 토파즈 연구원은 학술 논문에서 발견되는 AI의 허위 인용 사례가 2023년 이후 크게 증가했다고 지적했다. AI를 사용하는 연구자가 늘어난 데다 모든 이용자가 최신 모델을 사용하는 것은 아니기 때문이다.
관련기사
- "전통 유통 기업 아냐"...CJ올리브영, AI 앞세워 '글로벌 테크 플랫폼' 도약2026.11.20
- CGV 떠난 현대백화점 판교점에 이케아 팝업 들어온다2026.11.19
- 알리익스프레스, 광군제 열기 잇는 '블랙프라이데이' 개최…올해 마지막 대규모 세일2026.11.19
- 외국인 관광객 2000만 시대...K미용의료 강남언니 가입자도 1000만 넘어2026.11.19
이번 분석은 AI 모델의 문제 행동이 시간이 지나면서 어떻게 달라지는지 비교했다는 데 의미가 있다. 그러나 학술지의 동료심사를 거친 정식 논문이 아니라 연구진이 블로그에 공개한 분석 결과라는 한계가 있다.
또한 일부 문제 행동이 최신 모델에서 나타나지 않았다고 해서 모든 질문과 사용 환경에서 해당 오류가 완전히 사라졌다고 볼 수는 없다.








