[시론] 모티프의 독파모 평가 이의 제기는 타당한가

47점의 역설, 국가 사업을 흔든 벤치마크

지난 27일 저녁, 과학기술정보통신부가 독자 AI 파운데이션 모델(독파모) 2차 단계평가의 전체 점수를 공개했다. 예고된 게 아니였다. SK텔레콤이 70.6점으로 1위였고 업스테이지(69.9점), LG AI연구원(69.0점), 모티프테크놀로지스(65.8점) 순이였다. 4위를 한 모티프는 2차 경연에서 떨어졌고, 이날 모티프는 벤치마크 점수를 들며 이의를 제기하며 세부 점수 공개를 요구했고, 과기정통부는 결국 점수를 전면 공개했다.

벤치마크 점수는 100점 만점에서 40점(AAII 25점, NIA 15점)이였다. 또 전문가 평가 35점, 사용자 평가 25점이었다. 모티프는 벤치마크 영역에서 24.6점으로 최고점을 받았다. 벤치마크는 두 종류로 이뤄졌는데, 이중 글로벌 지표인 아티피셜 애널리시스 인텔리전스 인덱스(AAII)에서 모티프는 11.9점을 받아 1위를 차지했다. 하지만 국내 한국지능정보사회진흥원(NIA)의 벤치마크에서는 12.7점으로 최하위였다. 또 모티프는 전문가 평가 27.1점, 사용자 평가 14.1점(전문 사용자 8.4점·일반 국민 5.7점)으로 나머지 전 항목에서도 최하위를 받아 떨어졌다.

논란의 출발점은 아티피셜 애널리시스의 벤치마크 점수다. 모티프의 모델 '모티프3'는 AAII에서 47점을 받아 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점보다 크게 앞섰다. 배점 환산 후 1위와 4위의 점수 차이는 4점 안팎으로 압축됐는데, 모티프는 이를 두고 "정량평가의 변별력이 축소됐다"고 주장했다.

47점의 실제 국제적 지위

모티프가 벤치마크 47점을 받은 AAII는 무엇일까. 2024년 설립된 샌프란시스코 소재 민간 분석회사가 운영하는 합성지표다. 최신 v4.1.1은 아홉 개 평가를 에이전트 34%, 코딩 24%, 과학추론 24%, 일반 18%로 가중 합산한다. 개발사 자체 보고에 의존하지 않고 전부 독립 실행한다는 점에서 분명한 미덕이 있고, 그래서 산업계와 언론이 널리 인용한다.

문제는 그 인용의 성격이다. 국제적으로 이 지표는 가장 많이 읽히는 지표이지, 무언가를 결정하는 지표가 아니다. 이의 근거는 크게 세가지로 정리할 수 있다. 첫째, 규제 설계다. 각국 규제 당국은 평가 의무는 부과하면서도 어떤 벤치마크와 방법론을 쓸지 특정하는 것은 의도적으로 피한다.

EU 인공지능법조차 평가를 규제 요건으로 못 박으면서 비지정 방식을 유지한다. 게을러서가 아니라, 어떤 지표를 특정하는 순간 그 지표가 최적화 표적이 된다는 것을 알기 때문이다.

둘째, 운영사 자체 규정이다. 아티피셜 애널리시스는 방법론 문서에서 이 지수를 "모델 지능에 대한 유용한 종합"이자 모델 간 비교에 쓸 수 있는 도구로 규정하면서도, 모든 평가지표가 그렇듯 한계가 있어 모든 사용 사례에 그대로 적용되지는 않는다고 명시한다. 즉 만든 쪽이 스스로 참고할수 있는 비교 지표라고 선을 그어 둔 것이다.

셋째, 권위 있는 기관의 실제 사용법이다. 스탠퍼드 HAI의 '2026 AI 인덱스'는 모델 순위 근거로 AAII가 아니라 아레나 Elo를 쓴다. 프론티어 랩들이 출시 때 AAII 점수를 인용하는 것은 사실이지만, 그것은 마케팅 자료의 인용이라고 봐야한다. 이 점수로 예산이 배분되거나 인허가가 갈리는 사례는 찾기 어렵다.

그러니까, 모티프의 47점은 국제 무대에서 훌륭한 명함이다. 국내 팀이 이 지수 상위권에 이름을 올렸다는 것은 한국 AI가 프론티어 경쟁의 사정권 안에 들어와 있다는 실증이고, 그 자체로 산업적 자산이다. 다만 명함은 '훈장'이 아니다. 둘을 혼동할 때 문제가 시작된다. 사실 아티피셜 어날리시스 자체가 커스텀 벤치마킹을 유료 제공하는 민간 회사라는 점도 완전 중립기관과는 구분해야 할 대목이다.

4점 압축은 결함이 아니라 보정이다

그렇다면 모티프의 핵심 주장, 즉 47점과 31점의 격차가 4점으로 줄어든 것이 부당하다는 논리는 성립할까?

와튼스쿨 이선 몰릭 교수는 이 지수가 모델 간 대략적 비교에는 쓸 만하지만, 버전이 계속 바뀌어 왔기 때문에 추세 분석에는 부적합하고 개별 점수 차이가 무엇을 뜻하는지도 불분명하다고 지적했다. 벤치마크 점수와 실배포 성능의 괴리도 계속 지적된다. 엔터프라이즈 에이전트에서 랩 벤치마크 점수와 실제 배포 성능 사이에 37% 갭이 관찰되고, 유사한 정확도에 50배의 비용 편차가 난다는 분석도 있다.

지표의 성질이 정말 그렇다면, 의미가 확정되지 않은 점수 간격을 배점에 그대로 곱해 반영하는 쪽이 오히려 통계적 오류다. 47과 31의 거리를 압축한 것은 설계 결함이 아니라 지표의 불확실성을 감안한 올바른 보정에 가깝다고 봐야 한다.

모티프 요구는 참조지표를 핵심지표로 승격시켜 달라는 것에 가깝다고 본다. 기업으로서 자기 강점이 최대로 반영되기를 바라는 것은 자연스럽고, 어렵게 낸 성과를 인정받고 싶은 심정도 이해할 만하다. 다만 그 바람이 곧 평가 설계의 기준이 되지는 않는다. 아니 되서는 안된다. 외부 민간 지수에 국가 조달의 결정권을 넘기는 방식을 채택한 정부는 국제적으로 찾기 어렵다.

독파모가 최고의 모델을 뽑는 행사?

가장 많이 나오는 비판은 이렇다. 세계 최고 수준의 모델을 기술로 뽑지 않고 왜 사용성을 보느냐? 국가 대표를 뽑는데 왜 사용성이 기준이 되느냐.

세 가지가 뒤섞여 있다. 하나씩 풀어봐야 한다.

첫째, 기술로 뽑지 않았다는 전제부터 사실이 아니다. 벤치마크에 40점이 배정됐고, 그 안에서도 결과는 갈렸다. 모티프는 AAII에서 1위였지만 NIA 한국어 벤치마크에서는 최하위였다. 정량 영역 내부에서 이미 판정이 엇갈린 것이다. AAII 는 영어 텍스트만 평가한다. 한국어는 평가하지 않는다.

둘째, 사용성 평가를 마치 단순한 UI/UX, 편의성 심사로 바라봐서는 안된다고 생각한다. 이번 전문가 평가단은 산업계 3명, 학계 5명, 연구계 2명으로 구성됐다. 디자인 심사단이 아니라 기술 심사단이다.

정확히 말하면 이번 평가가 갈린 지점은 파운데이션 지능과 서비스 완결성의 차이다. 도구 호출/의 안정성, 긴 작업에서의 지시 준수, 검색증강생성(RAG)과 에이전트 서빙 신뢰도, 실패 뒤 복구, 환각 빈도. 이런 것들은 단답형 시험에서 잘 잡히지 않고 실제로 써 본 사람이 먼저 감지한다. 이것 역시 당연히 기술이다.

셋째, 방향 자체가 국제 흐름과 어긋나지 않는다. AAII v4.1.1 도 에이전트 항목에 34%라는 최대 가중치를 두고 있고, 그 안의 GDPval-AA는 44개 직업의 실무 과제로 모델을 시험한다. 세계에서 가장 널리 인용되는 벤치마크 기관조차 "시험을 잘 푸는가"에서 "일을 해내는가"로 축을 옮기는 중이다. 사용성을 본 것은 흐름을 거스른 것이 아니라 흐름을 따라간 것이다.

반대로 생각해보자. 만약 AAII 점수 하나로 국가 대표를 뽑았다면 어떻게 됐겠는가. 다음 라운드부터 모든 팀이 그 지수만 판다. 수천억 원의 국가 예산이 샌프란시스코 민간회사의 리더보드 순위를 올리는 데 투입된다. 그것을 국가정책이라 부르기는 어렵다.

다만 이번 논란이 겨냥한 지점 중 타당한 것도 있다. 전문가 10명의 서면 평가가 35점을 좌우하는 구조는 표본이 얇고 판단 근거를 재현하기 어렵다. 답은 정성평가 비중을 줄이는 것이 아니라 정성평가를 정량화하는 것이다. 사용성을 인상 투표가 아니라 재현 가능한 태스크 성공률로 측정하는 체계를 국가가 직접 갖춰야 한다. 방향은 옳았다고 생각하지만, 제대로된 평가 도구가 아직 미비하고, 앞으로 보완해나가야 할 것이다.

과기정통부를 위한 변명

이번 사안에서 과기정통부 설계는 방어적으로 잘 짜인 편이라고 생각한다. AAII 비중을 25점으로 묶고 나머지 75점을 국내 벤치마크와 전문가·사용자 평가에 분산한 구조는, 외부 민간 지표 하나가 단독으로 결과를 뒤집지 못하도록 한 것이다.

자격 확인 용도의 외부 지표라면 20~30% 선의 가중치가 합리적인데, 25점은 그 범위 안에 있다. 문제는 비중의 크기가 아니라 그 비중의 성격이 사전에 규정되지 않았다는 데 있었다.

외부 독립 기관을 끌어들인 데에는 또 하나의 순기능이 있다. 국내 평가만으로 진행할 때 필연적으로 따라붙는 정성평가 시비와 사전 유출 의혹을 상당 부분 통제해 준다. 다만 이번 사태는 그 순기능에도 조건이 붙는다는 것을 보여줬다.

모티프가 AAII 관련 데이터셋을 구매한 사실이 확인됐고, 회사는 점수를 올리기 위한 별도 학습은 없었다고 밝혔고, 부정행위로 확인된 것은 없다. 여기서 볼 것은 개별 기업의 의도가 아니라 유인 구조다. 외부 지표라도 배점이 붙는 순간 관찰 도구가 아니라 정책 목표가 되고, 공개 데이터셋을 통해 오염될 가능성이 높다.

실제로 아티피셜 애널리시스는 개발사의 공략 대상이 되지 않도록 평가 항목과 가중치, 채점 방식을 정기적으로 바꾸겠다고 밝혔다. 운영자 스스로 표적화를 경계하는 지표를, 우리는 고정된 배점표로 옮겨 사전 공표해버렸던 것이다. 외부 지표를 쓰려면 그 지표의 오염 가능성까지 함께 관리해야 한다.

정부가 잘못한 대목도 분명히 있다. 절차다. 과기정통부는 에이전트 추론과 코딩 등 기술 트렌드가 급변해 '무빙 타깃' 개념으로 평가 기준을 유연하게 조정했다고 설명했다. 사후에 설명되는 유연성은 참가자에게 재량권 남용으로 보일수가 있고, 그 틈이 이번 논란을 키웠던 것이라고 본다.

정작 빠진 축, 토큰

이 논쟁이 통째로 놓치고 있는 것이 있다. 토큰이다.

같은 의미의 문장이라도 한국어는 영어보다 훨씬 많은 토큰을 소비한다. 공개 토크나이저로 재보면 영어 13토큰짜리 문장이 한국어에서는 19~32토큰까지 벌어진다. 이 비효율은 곧바로 비용이 된다.

컨텍스트 창에 들어가는 원문 분량이 줄고, API 과금이 늘고, 추론이 느려진다. 2025년 국제머신러닝학회에서 막스플랑크연구소가 토큰당 과금의 구조적 불공정성을 제기하며 글자당 과금을 대안으로 내놓은 것도 이 때문이지만, 2026년 현재 언어별 차등 요금을 도입한 글로벌 사업자는 없다.

AAII에서 47점을 받아도 한국어 토큰 효율이 나쁘면 국내 서비스 원가는 몇 배로 뛴다. 반대로 토큰 효율이 좋은 모델은 같은 GPU로 더 많은 국민을 감당한다. 국산이라고 효율이 자동으로 좋아지지도 않는다. 어휘집 설계와 말뭉치 구성 단계에서 한국어를 명시적 목표로 삼아야 개선되는데, 지금 어떤 평가 항목도 그것을 요구하지 않는다. 요구하지 않는 것은 개선되지 않는다.

독자 모델을 국가 예산으로 개발하는 이유는 단순히 학술적으로 훌륭한 모델을 갖기 위해서가 아니다. 토큰 폭증으로 인해 향후 토큰이 우리 경제에 미치는 영향을 감안할때, 우리 언어로 산업과 공공에서 감당 가능한 비용으로 우수한 서비스를 만들어내기 위한 목적도 크다. 주권의 측면이다. AAII는 애초에 이런 부분을 측정하지 않는다.

계층형 평가로 가야 한다

이런 논란을 다시 피하기 위해서는 앞으로는 계층형 평가로 가야한다. 지표마다 역할을 엄격히 분리하는 계층형 평가 체계를 제안해 본다.

1단계는 자격 검증이다. AAII 같은 외부 글로벌 지수를 여기에 배치한다. 일정 체급 이상인지 확인하는 통과·미달 판정, 혹은 20~30% 수준의 최소 가중치로 쓴다. 목적은 순위를 가르는 것이 아니라 국내에서만 통하는 모델로 주저앉는 것을 막는 것이다. 그 이상의 권한을 주면 국가 예산이 외국 리더보드를 향해 최적화된다.

2단계는 주권 역량이다. 한국어 복합 추론, 공공 행정·법률 데이터의 정합성, 안전성 검증, 그리고 한국어 토큰 효율. 이 축의 지표는 외부에서 가져올 수 없다. 국가가 직접 설계하고 보유해야 하며, 비공개 홀드아웃 문항으로 운영해 오염 경로를 차단해야 한다.

3단계는 생태계와 실증이다. API 지연시간과 서빙 비용, 에이전트 툴 연동성, 실제 공공·산업 도메인의 실증 결과를 봐야한다. 이번에 사용성·활용성이라는 이름으로 불린 항목의 정확한 실체가 이것이다. 그리고 바로 이 단계야말로 인상 투표가 아니라 재현 가능한 수치로 측정돼야 한다.

이렇게 분리하면 이번 같은 논란은 구조적으로 줄어든다. 어떤 지표가 무엇을 결정하고 무엇을 결정하지 않는지가 공고 단계에서 확정되기 때문이다. 여기에 하나만 더하면 된다. 배점과 가중치는 사전에 확정하고, 변경이 불가피하면 변경 시점에 공표하는 것이다. 무빙 타깃은 규칙이 움직인다는 뜻이지 규칙을 사후에 알려준다는 뜻은 아니다.

AAII는 훌륭한 체급 계측기다. 우리 모델이 글로벌 최상위권과의 지능 격차를 얼마나 좁혔는지 보여주는 데 이만한 도구가 없다. 그러나 계측기는 체급을 알려줄 뿐 챔피언을 정하지 않는다.