[시론] 독파모 2차 평가를 보고...남은 과제는

벤치마크 함정을 넘어 현장 실행력으로

정부가 어제(19일) 2차 독자 AI 파운데이션 모델(독파모) 평가 결과를 발표했다. 글로벌 AI 평가기관 Artificial Analysis의 Intelligence Index(AAII)에서 47점을 기록하며 국내 모델 가운데 가장 높은 성적을 거둔 모티프테크놀로지스가 탈락하고, 업스테이지·SK텔레콤·LG AI연구원 3개 컨소시엄이 다음 단계에 진출했다. 표면적으로만 보면 의아해할 수 있는 결과다.

정부 역시 Motif 3가 미국과 중국 이외 국가에서 개발된 모델 가운데 AAII 최고 수준에 도달했고, 아키텍처와 토크나이저, 옵티마이저, 커널까지 자체 개발한 독자 기술력을 확보했다고 평가했다. 글로벌 수준의 모델을 만들겠다는 국가 프로젝트에서 글로벌 벤치마크 점수가 가장 높은 모델이 탈락한 것에 대해, 평가 기준에 의문이 제기되는 것은 당연하다. 하지만 독파모는 단순히 벤치마크 점수가 가장 높은 모델을 뽑는게 아니다. 대한민국의 산업과 공공 현장에서 실제로 작동할 수 있는 국가 AI 기반 모델을 선정하는 거다.

Motif 3의 47점은 모델의 기술적 가능성을 강하게 입증했다. 하지만 높은 벤치마크 점수와 실제 사용은 전혀 다른 차원이다. 현재 Motif 3는 그 기술적 성취에 비해 공개적으로 확인되는 대규모 상용 서비스와 산업 현장의 레퍼런스는 충분히 축적된 것으로 보이지 않는다. 아무리 높은 벤치마크 점수를 기록한 모델이라도 실제 시장에서 선택되고 반복적으로 사용되지 않는다면, 그 점수는 아직 검증된 산업 경쟁력이라기보다 가능성에 대한 증명에 가깝다. 그래서 이번 평가가 던진 질문은 단순하지 않다.

좋은 AI의 기준은 무엇일까. 얼마나 똑똑한가인가, 아니면 그 지능을 현실에서 얼마나 잘 작동시킬 수 있는가일까.

굿하트 법칙에 갇힌 글로벌 벤치마크

경제학에서 말하는 ‘굿하트의 법칙’이 있다. 측정 지표가 강력한 목표가 되는 순간 그 지표가 본래 측정하려던 현실을 제대로 반영하지 못한다는 것이다. AI 벤치마크에서도 같은 문제가 발생한다.

AAII는 에이전트, 코딩, 과학적 추론, 일반 역량을 종합적으로 평가하는 현재 가장 영향력 있는 글로벌 AI지표 가운데 하나다. 과거의 단순한 질의응답형 벤치마크보다 훨씬 정교해졌고, 프런티어 모델의 지능 수준을 비교하는 데 유용한 것이 사실이다. 문제는 벤치마크가 측정의 도구에서 개발의 목표가 되는 순간이다.

벤치마크 순위가 모델의 기술력을 대표하고 기업 가치와 투자, 시장의 평가에까지 영향을 미치기 시작하면 연구개발 역시 자연스럽게 해당 평가를 최적화하는 방향으로 움직인다. 공개된 문제 유형에 맞춘 합성데이터를 집중적으로 생성하거나 후학습을 최적화하고, LLM-as-a-Judge가 선호하는 답변 형태를 학습하는 이른바 벤치맥싱(Bench-maxing) 유인이 발생한다.

단순히 부정행위 문제가 아니라, 공개된 측정 지표가 경쟁의 목표가 되는 순간 발생하는 구조적 문제다. 모델의 범용적인 지능이 향상된 것인지, 특정 평가에서 높은 점수를 얻는 능력이 향상된 것인지 구분하기 어려워지는 순간 벤치마크는 본래의 목적에서 멀어진다.

AI 산업이 벤치마크 경쟁에 과도하게 매몰될수록 이 문제는 커질 수밖에 없다. 모델 개발사가 높은 점수를 얻기 위해 벤치마크의 출제 경향과 채점 방식에 적응하는 것은 어찌 보면 합리적인 선택이다. 그러나 국가가 어떤 AI를 전략적으로 육성할 것인가를 결정할 때까지 그 숫자를 그대로 받아들여야 하는지는 별개의 문제다. 정부는 이번 발표에서 "벤치맥싱은 없다"고 밝혔다.

더 근본적인 한계도 있다. AAII는 영어 텍스트를 중심으로 한 글로벌 평가다. 한국어의 미묘한 문맥과 행정,법률 용어, 한국의 제도와 문화적 정합성을 직접 평가하지 않는다. 개인정보 보호와 온프레미스 구축 가능성, 기업의 실제 데이터베이스와 업무 시스템 연동, 서비스 환경에서의 지연시간과 처리량 역시 하나의 지능지수에 담기 어렵다.

무엇보다 벤치마크에는 실제 사용자가 없다. 수많은 사용자가 동시에 접속했을 때도 안정적인지, 기업의 실제 데이터를 넣어도 성능이 유지되는지, 복잡한 업무 시스템에 연결했을 때 오류가 얼마나 발생하는지, 장기간 운영해도 비용을 감당할 수 있는지는 결국 실제 사용을 통해서만 검증된다.

물론, 벤치마크는 모델의 가능성을 증명하지만, 그 가능성이 현실에서도 작동하는지를 증명해야 한다. AI의 마지막 벤치마크는 결국 사용자다. 아무리 높은 점수를 받은 모델도 실제 현장에서 선택받고 반복적으로 사용되기 전까지는 잘 만든 모델일 수는 있어도 검증된 산업 인프라라고 말하기 어렵다.

47점과 31점 사이에 존재하는 현실의 격차

AAII에서 Motif 3는 47점을 기록했다. K-EXAONE 2.0은 31점이었다. 16점이라는 격차는 결코 작지 않다. 글로벌 벤치마크만 놓고 보면 상당한 차이다. 하지만 AI가 연구실을 벗어나 프로덕션 환경으로 들어오는 순간 평가 변수는 급격히 늘어난다. 모델의 추론능력뿐 아니라 TTFT(Time to First Token), 처리량, 메모리 사용량, 동시접속 안정성, 장문 처리능력, 데이터베이스와 외부 도구 연동, 보안, 온프레미스 구축, 운영비용이 동시에 중요해진다.

특히 AI가 단순히 챗봇에서 에이전트로 진화하면서 경제성의 기준도 달라지고 있다. 앞으로 중요한 것은 토큰 하나가 얼마인가가 아니라 업무 하나를 성공적으로 끝내는 데 얼마가 드는가다. 에이전트가 하나의 업무를 완료하기 위해 수십 차례 모델을 호출하고 외부 도구를 사용한다면 모델 호출 비용뿐 아니라 추론시간, 실패와 재시도, 사람의 개입까지 모두 비용이기 때문이다.

이 관점에서 보면 단순히 벤치마크 숫자로 표현되지 않는 또 다른 경쟁 공간이 존재한다. 지능의 격차와 산업 경쟁력의 격차는 동일하지 않다. Motif 3의 47점은 높은 지능을 보여준다. 그러나 높은 지능이 곧바로 프로덕션에서의 안정성과 경제성, 산업적 유용성을 보장하지는 않는다. 특히 아직 충분히 사용자가 붙지 않은 모델이라면 벤치마크에서 확인된 능력이 실제 환경에서도 동일하게 재현되는지를 검증해야 할 단계가 남아 있다.

반대로 실제 서비스에 배포된 모델은 훨씬 가혹한 시험을 받는다. 사용자는 정해진 문제만 묻지 않는다. 예상하지 못한 입력을 넣고, 긴 문서를 올리고, 외부 시스템을 연결하며, 개발자가 예상하지 못한 방식으로 서비스를 사용한다. 지연과 장애, 환각과 비용 문제 역시 이 과정에서 드러난다.

똑똑하지만 아작 잘 쓰지 않는 AI와 매일 누군가의 업무를 처리하는 AI 사이에는 벤치마크가 측정하지 못하는 거대한 검증의 차이가 존재하는 것이다. 국가가 막대한 컴퓨팅 자원과 재정을 투입해 국가대표 AI를 육성한다면 이 차이는 결코 부차적인 평가 요소가 될 수 없다.

생존한 3사의 공통분모: 작동하는 AX와 서빙 경제성

이번 2차 단계평가에서 살아남은 세 팀의 공통점도 이 관점에서 볼 필요가 있다.

업스테이지는 Solar Open 2의 MoE 구조를 통해 모델의 추론 성능과 서빙 경제성을 함께 끌어올리고 실제 서비스와 국산 NPU로 이어지는 실증 경로를 제시했다. 거대한 모델을 만드는 것뿐 아니라 제한된 GPU 자원에서 얼마나 효율적으로 서비스할 수 있는지를 경쟁력으로 내세웠다는 점이 중요하다.

SK텔레콤은 A.X K2의 모델 성능과 함께 통신, 기업용 AI, 제조·국방 등 대규모 서비스 환경으로 확장할 수 있는 운영 기반을 갖추고 있다. 수많은 실제 사용자를 감당하는 서비스 인프라와 운영 경험은 모델 자체의 벤치마크에서는 측정하기 어려운 자산이다.

LG AI연구원 역시 K-EXAONE 2.0과 함께 제조·화학·바이오 등 산업 현장에서 축적한 AX 경험, 안전성과 신뢰성, Agentic AI와 오픈소스 생태계 확장 전략을 제시했다. 세 팀의 공통점은 모델 크기나 벤치마크 숫자에 있지 않다. 모델에서 서비스로, 서비스에서 산업으로 이어지는 경로를 이미 갖고 있거나 구체적으로 제시했다는 점이다.

모델을 만드는 능력과 모델을 실제로 운영하는 능력은 다르다. 연구 환경에서 높은 성능을 기록하는 것과 수많은 사용자가 동시에 접속하는 프로덕션 환경에서 동일한 품질을 유지하는 것도 다르다. API를 공개하는 것과 기업의 ERP,CRM,그룹웨어,데이터베이스에 연결해 실제 업무를 수행하게 만드는 것 역시 다른 기술적 문제다.

물론 이것만으로 Motif 3의 탈락 원인을 특정할 수는 없다. 정부가 팀별 세부 평가점수를 공개하지 않았기 때문이다. 그러나 독파모가 단순한 모델 개발 경진대회가 아니라 국가 AI 생태계를 구축하는 프로젝트라면, 모델 자체의 성능뿐 아니라 그 성능을 실제 가치로 전환할 능력까지 평가하는 것은 충분히 합리적이다.

소버린 AI 기준은 리더보드가 아니라 현장

여기에서 독파모라는 사업의 목적을 다시 생각할 필요가 있다. 독파모는 세계에서 가장 높은 점수를 받는 한국산 LLM 하나를 만드는 사업이 아니다. 대한민국이 필요할 때 핵심 기술을 스스로 통제하고, 산업과 정부가 실제로 사용할 수 있는 AI 기반을 확보하기 위한 국가 프로젝트다. 그래서 1차 평가때는 프롬 스크래치 논란이 나오고, 네이버가 탈락할 정도로 우리의 자체 모델 개발 순수 역량을 평가했던 것이다.

소버린 AI 역시 단순히 국산 LLM을 보유하는 것을 의미하지 않는다. 국가와 기업이 핵심 AI 기술을 스스로 통제할 수 있어야 하고, 한국의 언어와 제도, 산업 데이터를 이해할 수 있어야 하며, 합리적인 인프라 비용으로 운영할 수 있어야 한다. 공공 행정과 제조·금융·의료 같은 국가 핵심 영역에 안전하게 연결되고, 국내 소프트웨어와 하드웨어, 서비스 기업들이 그 위에서 새로운 산업을 만들어낼 수 있어야 한다.

그렇다면 국가대표 AI의 경쟁력도 최소한 세 가지 축으로 평가해야 한다. 첫째는 지능이다. 추론·코딩·과학·에이전트 역량에서 세계 최고 수준의 모델과 경쟁할 수 있어야 한다. 글로벌 벤치마크는 이 격차를 냉정하게 측정하는 데 필요하다.

둘째는 주권이다. 한국의 언어와 문화, 법률·행정·금융 체계를 이해하고 핵심 기술과 데이터를 우리 스스로 통제할 수 있어야 한다. 개인정보 보호, 데이터 주권, 온프레미스 구축 가능성도 여기에 포함된다.

셋째는 실행력이다. 높은 지능을 합리적인 비용으로 실제 산업과 정부 시스템에 배치할 수 있어야 한다. 동일한 하드웨어와 업무 조건에서 처리량과 메모리 사용량뿐 아니라 업무 성공률, 실패와 재시도율, 사람의 개입 횟수와 최종 업무완료 비용까지 봐야 한다.

정리하면 간단하다. 지능은 세계와 경쟁하고, 주권은 우리가 통제하며, 실행력은 현장에서 증명해야 한다. 어느 하나도 다른 하나를 대신할 수 없다.

현장 실행력도 새로운 블랙박스가 되면 안돼

여기까지가 이번 독파모 2차 평가에 대한 생각이다. 그러나 정부 역시 이번 결과로부터 숙제를 받아야 한다. 벤치마크 만능주의를 피한다는 이유로 ‘현장성’과 ‘실행력’이 검증하기 어려운 정성적 표현으로 남아서는 안 된다.

특히 기존 고객과 서비스, 계열사와 인프라를 이미 확보한 대기업은 실증 레퍼런스를 만들기 쉽다. 반대로 기술력이 뛰어난 스타트업은 모델 자체의 성능과 무관하게 동일한 수준의 실증 기회를 확보하기 어렵다. 기존 사업자의 유통망과 시장 지배력이 모델의 실행력으로 그대로 환산된다면 또 다른 종류의 기울어진 운동장이 만들어질 수 있다.

그렇다면 역설적으로 다음 독파모가 해야 할 일은 현장 실행력의 벤치마크를 만드는 것이다. 동일한 GPU와 데이터, 동일한 업무 시나리오를 주고 실제 에이전트가 업무를 처음부터 끝까지 수행하게 하면 된다. 정답률만 보는 것이 아니라 업무완료율, 처리시간, 총추론비용, 실패와 재시도 횟수, 외부 도구 호출의 정확성, 사람의 개입 정도를 함께 측정하는 것이다.

기존 고객사가 몇 곳인지가 아니라 주어진 환경에서 얼마나 적은 비용으로 얼마나 많은 실제 업무를 완수했는가를 평가해야 한다. 이렇게 해야 ‘현장 실행력’ 역시 객관적인 경쟁의 대상이 될 수 있다. 에이전트 시대에는 하나의 답변을 생성하는 데 필요한 비용보다 하나의 업무를 끝까지 완수하는 데 필요한 비용과 시간이 더 중요해지기 때문이다. 모델 자체의 지능뿐 아니라 계획, 도구 호출, 오류 복구와 검증까지 포함한 전체 시스템의 성능을 평가해야 한다.

정부가 개별 기업의 영업비밀 때문에 세부 점수를 모두 공개하기 어렵다면 최소한 평가 항목과 정규화 방식, 익명화된 점수 분포, 평가의 재현 절차는 보다 투명하게 제시할 필요가 있다. 동시에 이번 평가에서 기술적 가능성은 충분히 입증했지만, 아쉽게 탈락한 모티프에게 현장 레퍼런스를 확보하기 위해 별도의 실증,사업화 트랙을 마련하고 적극 지원해야 한다. 3차 단계에 진출한 기업들에 준하는 수준의 컴퓨팅 자원과 수요기관 연계, 공공,산업 실증 기회를 제공해 이미 확보한 기술력이 쓰이는 AI로 전환될 수 있도록 적극 지원해야 한다.