新 LLM 내놓은 메타, 벤치마크 모델 성능 조정 의혹…"일반 버전과 달라"

메타가 새 인공지능(AI) 모델 성능 테스트에 사용한 모델과 실제 일반 버전이 다른 정황이 포착됐다.

7일 테크크런치에 따르면 메타가 챗봇 성능을 비교하는 'LM 아레나' 테스트에서 2위를 차지한 모델 '매버릭'이 일반 매버릭 버전과 다르다는 의혹이 개발자들 사이에서 나왔다. 테스트 버전과 일반 개발자가 다운로드할 수 있는 버전 구성이 다른 셈이다.

현재 LM 아레나에 적용된 매버릭 버전은 '실험적인 챗 전용 버전'으로 명시됐다. 반면 배포용 버전은 정교한 대화 조정이 적용되지 않은 것으로 드러났다.

결과적으로 LM 아레나에 등록된 모델은 공개 모델보다 더 사람처럼 반응할 수 있도록 설계된 셈이다. 실제 사용 환경에서 두 버전은 성능 차이를 보일 수 있다.

다수 외신은 벤치마크용 모델과 실제 공개 모델이 다를 경우 생기는 혼란을 우려했다. 특정 벤치마크에 맞춰 성능 높인 모델이 실제로 제공되지 않거나, 동일한 이름으로 배포될 때 사용자 혼동이 발생한다는 지적이다.

관련기사

실제 개발자들도 LM 아레나에 올라간 매버릭은 공개 다운로드 버전과 크게 다르다고 입을 모았다. LM 아레나에 올라간 버전은 이모티콘을 과도하게 쓰거나 응답이 지나치게 길었다는 의견이 이어졌다. 이들은 해당 버전이 대화 특화형 조정을 거친 것으로 파악했다.

미국 AI 정보 플랫폼 세마포어 관계자는 "메타가 테스트용 버전을 숨긴 채 일반 버전과 구분하지 않고 공개한 것은 큰 오해를 불러올 수 있다"며 "벤치마크는 다양한 작업에서 장단점을 파악할 수 있는 기준이 돼야 한다"고 지적했다.