AI학회 ‘동료평가’ 잘못하다간 철퇴...UNIST, 묘안 제시로 ICML서 최고 논문상

"심사자 피드백 역평가하고 심사자에게 인센티브 제공”...협업 제의도

국내 연구진이 최근 대두된 AI학회의 부실한 '동료평가'에 대한 해법을 세계 3대 인공지능학회로 꼽히는 ICML(기계학습분야 국제학술대회) 포지션 트랙에 제출, 최고 논문상(Outstanding Paper Award)을 수상했다.

국내에서 ICML 최고 논문상이 나온 것이 이번이 처음이다.

수상자는 UNIST 인공지능대학원 이슬기 교수팀이다. 이 교수팀은 AI학회 동료평가 시스템 문제점을 진단하고 해법을 명쾌하게 제시했다.

AI학회의 부실한 동료평가에 대한 해법을 제시한 UNIST 연구진, 왼쪽부터) 이슬기 교수, 김재호 연구원, 이윤석 연구원.

동료평가는 학술지나 학회에 투고된 논문을 같은 분야 연구자들이 익명으로 심사해 투고 승인(accept) 여부를 결정하는 평가 방법이다.

특히, 논문에서 연구 품질을 보장하고 부실한 결과물을 거르는 중요한 절차로 인식되지만, 최근 AI 학회를 중심으로 투고 건수가 급증하면서 심사자 부족과 평가 신뢰성 저하 문제가 동시에 불거졌다.

일부 심사자는 생성형 AI에 전적으로 의존하거나, 논문을 제대로 읽지 않은 채 심사를 넘기는 경우도 적지 않은 것으로 파악됐다.

연구팀은 이같은 문제를 해결하기 위해, 논문 투고 저자가 심사자의 피드백을 역으로 평가하는 구조와 심사자에게 인센티브를 제공하는 방안을 함께 제안했다.

김재호 연구원(공동 제1저자)은 “심사자에게 책임과 동기를 함께 부여하는 현실적 대안이라는 점에서 높은 평가를 받았고, 국제 자선단체 오픈필란트로피가 협업을 제안해 왔다”고 말했다.

이윤석 연구원(공동제1저자)은 “제안한 동료평가 개선 방법은 AI 분야뿐만 아니라 다른 학술 분야에서도 활용할 수 있다"며 "의학, 생물학, 화학 등 동료평가로 논문을 심사하는 모든 분야에서 적용 가능하다”고 덧붙였다.

이슬기 교수는 "AI 기술 발전과 함께 단순히 기술적인 연구뿐만 아니라 AI 정책과 시스템에 대한 연구도 함께 뒷받침되는 것이 중요하다"며 "이번 연구가 그런 균형 잡힌 접근의 좋은 사례"라고 말했다.

시상식은 2025년 ICML 연례학회가 열리는 캐나다 밴쿠버에서 지난 15일(현지시각) 열렸다.