모티프, 독파모 탈락 이의신청…해외선 '벤치마크 무용론'

모티프, 세부 점수 공개·재심의 요청…해외선 "점수만으론 AI 실력 못 잰다"

글로벌 벤치마크 지표에서 최고점을 받고도 정부 '독자 AI 파운데이션 모델(독파모)' 2차 평가에서 탈락한 모티프테크놀로지스가 벤치마크 비중을 더 반영하라며 이의를 제기했다. 그러나 해외 AI 연구 현장에서는 벤치마크만으로 모델을 평가하는 방식에 회의론이 커지고 있는 상황이다.

27일 모티프테크놀로지스는 독파모 2차 선정 결과에 공식 이의를 제기하고 세부 평가점수와 기준 공개, 재심의를 요청했다. 회사가 개발한 '모티프 3'는 글로벌 AI 평가기관 아티피셜 애널리시스의 종합 지표 AAII에서 47점을 받아 참여 4개 모델 중 1위를 기록했다. 모티프는 입장문에서 "AAII 1위(47점)와 4위(31점)의 16점 격차가 배점 환산 과정에서 4점으로 줄었다"며 "배점 산정 방식이 실제 성능 차이를 반영하지 못한다"고 주장했다.

하지만 해외에선 벤치마크 점수를 실제 성능 척도로 삼는 데 대한 회의론이 커지고 있다. 노엄 브라운 오픈AI 연구부사장은 "막대그래프 하나로 AI 실력을 재는 시대는 끝났다"고 말했다.

임정환 모티프 대표는 독파모 2차 선정 결과에 공식 이의를 제기하고 세부 평가점수와 기준 공개, 재심의를 요청했다. (사진=지디넷코리아)

오픈AI 추론 모델 'o1'·'o3' 시리즈를 설계한 그는 벤치마크가 성능을 하나의 숫자로 압축하면서 정작 중요한 차이를 지운다고 지적했다.

브라운 부사장이 든 근거는 연산량이다. 같은 모델이라도 더 오래 연산하게 하면 성능이 크게 달라지는데 막대그래프 점수 하나로는 이 차이가 드러나지 않는다.

그는 "최신 모델일수록 추론에 투입하는 연산량을 늘리면 성능이 계속 오르는 반면, 구형 모델은 일정 수준에서 정체된다"며 "단일 점수가 아니라 연산량 대비 성능 곡선으로 모델을 평가해야 하고 이를 무시하면 실제 역량을 과소평가하거나 반대로 발생할 수 있는 위험을 놓칠 수 있다"고 말했다.

나만 고얄 구글 딥마인드 머신러닝 리서치 엔지니어는 벤치마크를 '텅 빈 코스에서 치르는 운전면허 시험'에 비유했다. 정제된 환경에서 시험을 통과해도, 노이즈와 예외가 뒤섞인 실제 현장에서 잘 작동한다는 보장은 없다는 뜻이다.

고얄 엔지니어는 자신의 초기 연구 사례를 들었다. 성능이 뛰어난 물체 탐지 모델이 영상의 한 프레임에서는 대상을 정확히 찾고도, 거의 똑같아 보이는 다음 프레임에서는 놓치는 경우가 있었다.

그는 "친구를 알아보고 나서 1초 뒤 고개를 돌렸을 뿐인데 알아보지 못하는 것과 같았다"며 "정제된 테스트에서 조금만 벗어나도 모델이 무너질 수 있다"고 말했다. 또 "모델 배포 전에 복잡하고 예외적인 상황을 의도적으로 시험하는 테스트를 통과 관문으로 두어야 한다"고 제안했다.

모티프 3는 글로벌 AI 평가기관 아티피셜 애널리시스의 종합 지표 AAII에서 47점을 받아 독파모 참여 4개 모델 중 1위를 기록했다. (사진=모티프테크놀로지스)

과기정통부가 2차 평가에서 사용자 평가를 새로 도입한 배경도 이러한 벤치마크 한계와 연관된다. 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 짜인 이번 평가에서 AI 전문가 49명과 일반 국민 185명이 각 팀 모델을 직접 써보고 채점했다. 벤치마크 성능만으로는 통과할 수 없는 구조다. 3차에 오른 곳은 업스테이지·SK텔레콤·LG AI연구원이다.

김경만 과기정통부 AI정책실장은 27일 제2차 과학기술·인공지능 미래전략회의 현장에서 모티프 이의신청에 대해 "AAII의 공신력은 인정한다"면서도 "한국어 특성과 안전성, 신뢰성 등을 반영한 별도 성능평가도 있었다"고 밝혔다. 공개 벤치마크 점수만으로 최종 순위를 판단하기는 어렵다는 취지다. 그는 "모델을 잘 만드는 능력과 이를 실제로 활용하는 능력은 다를 수 있다"고 덧붙였다.

김 실장은 모티프 이의신청을 15일 이내에 처리하되, 세부 점수 전면 공개는 하위 평가 기업에 낙인 효과를 줄 수 있어 신중히 검토하겠다고 밝혔다.

일각에서는 모티프테크놀로지스를 둘러싸고 이른바 '벤치맥싱' 논란도 제기된다. 미국 AI 데이터 기업 애프터쿼리가 최근 링크드인을 통해 모티프 3의 '유일한 데이터 파트너'로 참여했다는 소식을 알리면서다. 벤치맥싱은 특정 벤치마크에서 높은 점수가 나오도록 데이터와 사후학습을 설계하는 작업을 뜻한다. 애프터쿼리는 모델의 취약 영역을 파악해 이를 개선할 데이터와 학습법을 제공하는 사업을 하고 있다. 모티프 측은 "에이전트 성능을 높이기 위한 협업이며 벤치마크 점수만을 겨냥한 것은 아니다"라고 반박했다.