모티프 "벤치마크 배점, 성능 차이 못 담아"…독파모 이의 제기

AAII 1위에도 종합 최하위 탈락…평가 기준·배점 근거 등 공개 요구

정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트 2차 평가에서 탈락한 모티프테크놀로지스가 세부 평가 기준과 결과를 공개하라며 이의를 제기했다. 글로벌 벤치마크 점수는 참여 기업 중 가장 높았지만 종합 점수에서 최하위로 탈락한 데 따른 것이다.

모티프테크놀로지스는 27일 공식 입장문을 내고 독파모 2차 단계 선정 결과에 대해 정식으로 이의 제기를 신청했다고 밝혔다. 

모티프테크놀로지스는 ▲전체 평가 항목별 업체별 상세 점수와 평가 기준 및 내용 ▲벤치마크 평가의 배점 산정 방식 근거 ▲전문가 평가의 상세 기준과 결과 ▲사용자 평가의 방법론·상세기준·결과 등을 공개할 것을 요구했다. 

(사진=모티프테크놀로지스)

독파모 사업은 정부가 국가대표급 AI 모델을 확보하기 위해 참여 기업에 그래픽처리장치(GPU) 등 자원을 지원하고 단계별 평가로 최종 2팀을 압축 선정하는 사업이다. 과기정통부가 지난 18일 발표한 2차 평가 결과 업스테이지·SK텔레콤·LG AI연구원 3개 팀이 최종 단계인 3차수에 진출했다. 

모티프테크놀로지스가 개발한 모델 '모티프 3'는 글로벌 AI 모델 평가 기관 아티피셜 애널리시스의 종합 성능 지표 AAII에서 47점을 받아 참여 4개 모델 중 1위였다. 모델 업체 기준으로는 글로벌 10위로, 미국과 중국을 제외하면 1위에 해당하는 성과다. 하지만 벤치마크(40점)·전문가(35점)·사용자(25점) 평가를 합산한 종합 점수(100점 만점)에서는 모티프 3가 최하위에 그치며 탈락했다. 

2차 평가 결과 발표 직후 모티프테크놀로지스는 평가 결과를 받아들이며 이의 제기 계획이 없다고 밝혀왔다. 그러나 언론을 통해 모티프3가 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성도 떨어진다는 평가를 받았다는 보도가 이어지자 입장을 선회했다. 

모티프테크놀로지스는 AAII 1위(47점)와 4위(31점) 간 16점 격차가 배점 환산 시 4점으로 줄어든 점을 들어 벤치마크 배점 산정 방식이 실제 성능 차이를 제대로 반영하지 못한다고 주장했다. AAII 최하위 모델이 전문가 평가 1위를 차지한 근거, 전문가 평가 중 외국계 자본 관련 서면 질의를 받은 목적도 공개하라고 요구했다.

모티프테크놀로지스는 "이의 제기는 저희가 독파모에 선정돼야 한다는 주장을 위한 것이 아니다"라며 "이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다"고 말했다.

과기정통부는 이에 대해 아직 공식 입장을 밝히지 않았다.