이의 제기에 공개된 독파모 점수…참여 업체들 "이젠 모티프가 답할 차례"

세부 점수 공개되자 이번엔 평가위원 문제 삼아…업계 "따질 대상 계속 바뀐다"

정부 독자 AI 파운데이션 모델(독파모) 2차 평가에서 탈락한 모티프테크놀로지스가 거듭 이의를 제기하자 참여 업체들이 비판에 나섰다. 정작 자사 모델을 둘러싼 의혹엔 답하지 않으면서 정부 평가만 문제 삼는다는 지적이다.

27일 AI 업계에 따르면 독파모 사업에 참여한 업체들 사이에서는 모티프테크놀로지스의 잇단 문제 제기에 "결과에 아쉬움은 이해하지만 방식에는 동의하기 어렵다"는 반응이 많은 것으로 나타났다.

앞서 모티프테크놀로지스는 자사 모델 '모티프 3'가 글로벌 AI 평가지표 아티피셜 애널리시스 인텔리전스 인덱스(AAII)에서 참여 모델 중 1위를 기록하고도 종합 최하위로 탈락하자 이의를 제기했다. 정부가 이례적으로 전체 세부 점수를 공개하자 이번에는 전문가 평가 채점 기준과 평가위원 구성을 다시 문제 삼았다.

정부가 공개한 독파모 2차 단계평가 종합점수. (사진=과학기술정보통신부)

공개된 세부 점수를 보면 모티프 3는 AAII에서만 11.9점으로 1위였고 나머지는 모두 최하위였다. 한국어와 안전성을 반영한 NIA 벤치마크가 12.7점, 전문가 평가 27.1점, 사용자 평가 14.1점으로 모두 꼴찌였다. 종합 점수는 65.8점으로 ▲SK텔레콤(70.6점) ▲업스테이지(69.9점) ▲LG AI연구원(69.0점)에 뒤처졌다.

AI 업계가 대표적으로 지적한 대목은 문제 제기의 초점이 계속 바뀐다는 점이다. A사 관계자는 "세부 점수를 공개하라고 해서 정부가 전체 점수를 공개했더니 이번에는 전문가 평가와 평가위원을 문제 삼는다"고 말했다.

C사 관계자도 "붙었으면 아무 말 없었을 텐데 떨어지니 따질 대상을 계속 바꾼다"며 "판정에 불만이 있다고 심판 자질부터 문제 삼는 격"이라고 꼬집었다.

정작 모티프테크놀로지스 스스로는 검증에 침묵한다는 비판도 나왔다. 이 회사는 최근 이른바 '벤치맥싱' 논란에 휩싸였다. 미국 AI 데이터 기업 애프터쿼리가 링크드인을 통해 모티프 3의 '유일한 데이터 파트너'로 참여했다는 소식을 알리면서다.

벤치맥싱은 특정 벤치마크에서 높은 점수가 나오도록 데이터와 사후학습을 설계하는 작업을 뜻한다. 애프터쿼리는 모델의 취약 영역을 파악해 이를 개선할 데이터와 학습법을 제공하는 사업을 하고 있다.

C사 관계자는 "특정 벤치마크만 겨냥해 점수를 끌어올리는 것은 얼마든지 가능하다"며 "AAII 1위가 곧 최강이라는 뜻은 아니다"라고 선을 그었다. 이어 "떳떳하다면 애프터쿼리와 협업하기 전과 후로 점수가 어떻게 달라졌는지 공개하면 될 일"이라고 강조했다.

A사 관계자도 "정부에는 투명성을 요구하면서 자사 의혹은 공격으로만 규정한다"며 "같은 잣대를 스스로에게도 적용해야 한다"고 지적했다. 이에 대해 모티프테크놀로지스 측은 "에이전트 성능을 높이기 위한 협업이며 벤치마크 점수만을 겨냥한 것은 아니다"라고 반박했다.

모티프테크놀로지스가 요구한 평가위원 공개는 비현실적이라는 반론도 있다. C사 관계자는 "심사위원을 공개하면 그 사람은 다음부터 평가에 참여할 수 없다"며 "국내 전문가 풀이 좁아 해외 교수까지 거론됐던 상황"이라고 전했다. 평가 기준도 4개 팀이 함께 모여 여러 번 논의 끝에 정한 만큼 모티프테크놀로지스가 몰랐을 리 없다는 설명이다.

다만 전문가 평가 방식은 손볼 여지가 있다는 데 일부가 공감했다. B사 관계자는 세부 점수 공개는 긍정적으로 보면서도 "전문가 평가는 종합 점수로만 나왔을 뿐 평가위원을 어떻게 뽑고 무엇을 기준으로 채점했는지 알 수 없다"고 말했다.

이 관계자는 벤치마크 비중을 줄이자는 일각의 주장에는 신중한 입장을 보였다. 그는 "다른 평가 방식을 찾는 것은 가능하지만 단순히 벤치마크 비중만 줄이면 전문가나 사용자 평가 비중이 그만큼 높아진다"며 "지금도 불명확한 전문가 평가를 보완 없이 키우면 문제가 더 커질 수 있다"고 말했다.

모티프테크놀로지스가 이번 일로 얻을 실익이 없다는 반응도 이어졌다. A사 관계자는 "이미 3차에 참여하지 않겠다고 한 상황에서 정부와 충돌해 얻을 것이 무엇인지 모르겠다"고 토로했다. C사 관계자는 "정부에 답을 요구하기 전에 자사 모델을 둘러싼 의혹부터 스스로 풀어야 할 때"라고 강조했다.