[안광섭 AI 진테제] 독파모 2차평가 눈앞...무엇을 '평가' 해야 하나

오는 8일부터 11일까지 나흘간 국내서 주목할만한 인공지능(AI) 행사가 열린다. 200명의 국민평가단이 국산 AI 모델 네 개를 직접 써보는 행사다. 이 행사를 위해 과기정통부는 10대부터 60대까지 성별·연령 인구 비율을 반영해 평가단을 뽑았다.

정부가 독자 파운데이션 모델 프로젝트(이하 독파모)를 시작한 이래, 일반 사용자의 체감이 평가 배점에 정식으로 들어가는 것은 이번이 처음이다. 평가 결과는 이르면 12일 나오고, 경연 대상인 네 팀 중 한 팀이 떨어진다.

업계 반응은 대체로 무덤덤하다. 이유는 짐작이 간다. 1차 때도 '글로벌 프런티어급'이라는 표현을 봤고, 이번에도 각 사 발표에는 해외 최상위 모델과 대등하다는 서술이 어김없이 등장한다. 그런데 정작 우리가 매일 쓰는 서비스에서 국산 모델을 만나기는 어렵다. 발표와 체감 사이의 이 간극이 반복되면서, 독파모는 중요도에 비해 주목도를 잃었다.

필자는 2차에 제출된 네 모델의 기술 리포트를 처음부터 끝까지 읽었다. 결론부터 말하면 이번엔 다르다. 필자가 말하는 '다르다'의 의미가 보도되는 방향과 조금 다른 곳에 가있다.

1. 44점이라는 좌표

가장 먼저 볼 것은 각 사가 스스로 만든 표가 아니라, 이해관계가 없는 제3자가 매긴 숫자다.

인공지능 모델 평가 기관 아티피셜 애널리시스(Artificial Analysis)의 지능지수(AAII)에서 모티프테크놀로지스의 '모티프 3 프리뷰'는 44점을 기록했다. 같은 표에서 미니맥스 M3가 44.4점, 딥시크 V4 프로 맥스가 44.3점, 문샷AI의 키미 K2.6이 44.2점을 얻었다.

즉 국내 모델이 중국 오픈웨이트 상위권과 소수점 단위로 겹치는 자리에 올라와 있다. 이것은 진짜 성취다. 특히 모티프는 30명 규모 조직이 GPU 700여 장으로 약 5개월 만에 이 지점에 도달했다. 1차 평가 때의 좌표와는 질적으로 다르다. 그런데 같은 표를 조금 더 위로 올라가면 풍경이 달라진다. 오픈웨이트 중 최고점인 즈푸AI의 GLM-5.2가 51.1점, 지수 1위인 클로드 오퍼스 5가 60.7점이다. 44점대와 60점대 사이에는 두 단계가 더 있다.

정리하면 이렇다. 국내 모델은 '세계 2군의 상단'에 진입했다. 훌륭한 성과이고, 축하할 일이다. 그런데 언론에서 읽히는 문장은 '2군 상단 진입'이 아니라 '빅테크 추월'이다. 이 차이는 어디서 일어날까.

2. 비교표에 없는 이름들

답은 각 사 기술 리포트의 비교군에 있다.

SK텔레콤의 A.X K2는 큐원3.5-397B, 딥시크 V4 플래시, GLM-5.1, 키미 K2.6, 미니맥스 M2.7과 비교했다. LG AI연구원의 K-엑사원 2.0은 큐원3.5, GLM-5.1, 딥시크 V4 프로와 비교했다. 업스테이지의 솔라 오픈 2는 아예 비교군을 명시했다. '320B 미만 오픈 모델'과 '패스트 티어(fast-tier) 폐쇄형 API'다.

세 리포트의 공통점이 있다. GPT도, 클로드도, 제미나이도 없다. 오픈웨이트 최고점인 GLM-5.2도 없다. 비교 대상은 모두 중국계 오픈웨이트이거나, 폐쇄형 모델 중에서도 저가·고속 라인이다.

이것을 기만이라고 부를 생각은 없다. 오히려 반대다. 비슷한 파라미터 규모와 서빙 비용의 모델끼리 견주는 것은 기술 문서로서 정확한 태도이고, 업스테이지가 비교군의 조건을 범례에 대놓고 써둔 것은 정직한 표기다.

한 가지 사례가 이 구조를 잘 보여준다. 업스테이지는 한국어 벤치마크에서 폐쇄형 모델을 앞섰다고 밝혔는데, 그 대상은 'GPT-5.4 미니'와 '클로드 하이쿠 4.5'였다. 둘 다 각 사의 경량·저가 라인이다. 발표문은 정확했다. 그러나 이 문장이 몇 다리를 건너면 '오픈AI와 앤스로픽을 이겼다'가 된다.

문제는 그다음이다. GTM(Go To Market) 전략을 다뤄온 필자 관점에서 보면, 비교군을 정하는 일은 기술적 결정이 아니라 포지셔닝의 첫 결정이다. 어떤 체급과 나란히 설 것인지를 고르는 순간, 그 표에서 도출될 수 있는 결론의 범위도 함께 결정된다. 그리고 이 표가 홍보 자료와 기사로 넘어가는 과정에서 '동급 최고'는 '세계 최고'로, '빅테크의 저가 라인과 대등'은 '빅테크 추월'로 한 칸씩 미끄러진다.

독자가 느끼는 괴리감의 출처가 여기다. 리포트는 거짓말을 하지 않았는데, 리포트를 요약한 문장은 사실과 어긋난다.

3. 재현되는 것과 재현되지 않는 것

그렇다면 벤치마크 점수는 대체 얼마나 믿을 만한 숫자인가. 마침 좋은 자연 실험이 있었다. 세 회사가 비슷한 시기에 같은 해외 모델들을 각자의 평가 환경에서, 서로의 결과를 보지 못한 채 다시 측정했다. 겹치는 칸만 맞춰 보면 이렇다.

• 딥시크 V4 플래시의 HLE: SK텔레콤 32.1점, 업스테이지 32.3점

• 딥시크 V4 플래시의 KMMLU-Pro: SK텔레콤 78.8점, 업스테이지 78.9점

• GLM-5.1의 CLIcK: SK텔레콤 88.8점, LG 88.7점

• GLM-5.1의 KMMLU-Pro: SK텔레콤 76.5점, LG 75.8점

• 큐원3.5의 KMMLU-Pro: SK텔레콤 78.4점, LG 77.4점

전부 1점 안에서 수렴한다. 벤치마크의 재현성은 필자가 예상했던 것보다 훨씬 높았다. 그런데 딱 한 칸이 벌어진다. GLM-5.1의 HLE다. LG 리포트는 이 칸에 개발사 공식 발표치 31.0점을 인용해 넣었다. 같은 벤치마크를 SK텔레콤이 직접 측정하니 28.0점이 나왔다. 3.0점 차이고, 공식치가 높은 쪽이다.

정리하면 이렇다. 재측정끼리는 붙고, 공식 발표치와 재측정은 벌어진다. 벤치마크가 못 미더운 것이 아니라, 만든 쪽이 스스로 발표한 숫자가 못 미더운 것이다. 그리고 우리가 기사에서 읽는 숫자는 대부분 후자다.

측정 조건이 결과를 어떻게 만드는지는 두 리포트에 더 구체적으로 남아 있다. LG는 자사 모델의 HLE를 텍스트 전용 문항으로 측정하면서, 같은 표에 들어간 큐원3.5의 인용치는 전체 문항 기준이라고 각주에 밝혔다. 나란히 놓였지만 같은 시험지가 아니다.

SK텔레콤은 큐원3.5-397B만 출력 상한이 6만5536토큰으로 묶였다고 적었다. 다른 모델은 최소 12만8000토큰이었고, 상한에 걸린 응답은 전부 오답 처리된다. 두 회사 모두 이 사실을 숨기지 않고 각주에 써뒀다. 문제는 표만 옮겨 실은 기사에 그 각주가 따라가지 않는다는 점이다.

데이터를 가르치는 입장에서 강조하고 싶은 지점이 여기다. 벤치마크 점수는 '측정값'이 아니라 '측정 설계의 산물'이다. 조건을 밝힌 점수는 놀라울 만큼 잘 재현되고, 조건이 사라진 점수는 비교 자체가 성립하지 않는다. 소수점 몇 점으로 국가대표를 가리는 보도가 위태로운 이유는 벤치마크가 부실해서가 아니다. 그 숫자가 어떤 조건에서 나왔는지가 보도 과정에서 빠지기 때문이다.

4. 세계는 이미 다른 것을 재고 있다

더 중요한 변화는 무엇을 재느냐가 바뀌었다는 사실이다.

앞서 인용한 아티피셜 애널리시스 지능지수는 현재 GDPval, τ³-뱅킹(tau3-Banking), 터미널벤치(Terminal-Bench) 2.1, 사이코드(SciCode), HLE, GPQA 다이아몬드 등으로 구성된다. 앞의 세 개가 핵심이다. GDPval은 실제 직업에서 수행되는 업무를 모델이 얼마나 완수하는지, τ³-뱅킹은 금융 업무 환경에서 도구를 쓰며 다단계 과업을 끝내는지, 터미널벤치는 실제 터미널에서 작업을 완료하는지를 본다. 요컨대 지수의 무게중심이 '얼마나 똑똑한가'에서 '얼마나 일을 끝내는가'로 옮겨 갔다.

이 축에서 국내 모델의 성적은 이렇다. K-엑사원 2.0은 τ³-뱅킹 14.2점, 터미널벤치 2.1에서 43.8점이다. 솔라 오픈 2는 τ³-뱅킹 19.6점, APEX-Agents 16.6점이고, 실제 직업 과업을 다루는 GDPval-AA v2에서는 ELO 1128점으로 비교 대상 여섯 모델 중 3위다. 1위인 딥시크 V4 플래시가 1187점이다. A.X K2는 웹 탐색 과제인 브라우즈컴프(BrowseComp)에서 9.3점으로, GLM-5.1(29.1점)과 차이가 크다.

한편 A.X K2가 리포트에 실은 에이전트 지표는 τ²-벤치 텔레콤 98.0점이다. 지수에 들어간 것은 τ³인데 보고된 것은 그 전작인 τ²다. 잘하는 것을 앞세우는 것 자체는 나무랄 일이 아니고, SK텔레콤은 이 항목이 아티피셜 애널리시스 측정치라고 표에 표시해 뒀다. 다만 어떤 시험지를 고르느냐가 이미 절반의 답이라는 점은 짚고 갈 필요가 있다.

반대로 에이전트 축에서 국내 모델이 앞선 지표도 하나 있다. 업스테이지의 한국어 사무 과업 벤치마크 Ko-GDPval에서 솔라 오픈 2는 86.8점으로, 6배 이상 큰 딥시크 V4 프로(86.9점)와 사실상 동률이다. 자체 개발 벤치마크라는 한계는 분명하지만, '한국어 실무'라는 좁은 정의 안에서는 실제로 통한다는 근거다.

네 모델이 자신 있게 앞세운 축을 정리하면 수학, 한국어 지식, 한국 문화·상식, 장문 맥락, 그리고 자체 개발한 안전성 벤치마크다. 실제로 A.X K2의 AIME26 97.1점, CLIcK 91.6점은 인상적인 숫자다. 그런데 국내 모델이 가장 강한 축과, 지금 시장이 값을 치르는 축이 서로 어긋나 있다. 기업이 AI에 예산을 쓰는 이유는 수학 문제를 잘 풀어서가 아니라 업무를 대신 끝내주기 때문이다.

물론 이 영역은 전 세계가 다 못한다. τ³-뱅킹에서 딥시크 V4 프로도 25.8점에 그친다. 아직 아무도 확실히 앞서지 않은 구간이라면, 후발주자가 좌표를 바꿀 수 있는 거의 유일한 구간이기도 하다.

5. 다운로드는 되는데, 서비스에는 없다

마지막으로 확산 문제를 보자. 여기서 필자의 예상이 한 번 빗나갔다.

'국산 모델은 아무도 안 쓴다'는 것이 업계의 통념이다. 그런데 데이터가 그렇게 말하지 않는다. 1차 모델인 A.X K1은 허깅페이스에서 최근 한 달 3만938회 다운로드됐다. 같은 기간 키미 K2 씽킹이 4만4964회다. 자릿수가 같다. K-엑사원 2.0과 A.X K2는 아파치 2.0 라이선스로 공개돼 상업적 이용에 제약이 없다. 모티프 3는 현재 공개된 베타가 비상업·연구용 라이선스이지만, 회사는 최종 모델의 오픈소스 공개를 예고했다. 라이선스는 이미 핵심 문제가 아니다.

그런데도 우리는 실제 서비스에서 국산 모델을 만나지 못한다. 다운로드는 되는데 서비스에는 없다. 이 간극이 진짜 질문이다.

답은 다운로드라는 지표 자체에 있다. 다운로드는 개발자의 호기심을 재는 숫자지 채택을 재는 숫자가 아니다. 채택을 재려면 파생 모델이 몇 개 만들어졌는지, 서드파티 추론 제공자가 몇 곳이나 이 모델을 서빙하는지, 그리고 기업이 이 모델을 돌리려면 GPU 비용을 얼마나 감당해야 하는지를 봐야 한다.

마지막 항목은 특히 결정적이다. A.X K2는 FP8 기준 최소 646GB의 서빙 메모리를 요구한다고 리포트 표에 명시했다. H200 여덟 장 규모다. 반면 솔라 오픈 2는 총 250B로 그 3분의 1을 조금 넘고, 업스테이지는 모델 공개 당시 "GPU 두 장으로 구동 가능하다"고 밝혔다. 다만 이 수치는 기술 리포트가 아니라 발표 자료 기준이라는 점은 함께 적어둔다. 앞 절의 이야기가 여기서도 그대로 반복된다. 성능표에서는 몇 점 차이지만, 도입 결재 서류에서는 전혀 다른 이야기가 된다.

이 관점에서 보면 업스테이지가 솔라 오픈 2를 다음(Daum) 포털에 대화형 에이전트로 얹겠다고 밝힌 것은 성능 발표보다 중요한 뉴스다. 벤치마크 순위가 아니라 트래픽이 걸린 자리에 모델을 올리는 일이기 때문이다. 확산은 라이선스를 푸는 것이 아니라, 사람이 이미 모여 있는 화면에 모델을 밀어 넣는 것으로 시작된다.

마무리

이번 2차는 다른가. 다르다. 44점대 진입은 1차와 질적으로 구분되는 좌표이고, 국내에 프런티어급 모델을 설계·학습·안정화할 수 있는 엔지니어링 조직이 최소 네 곳 생겼다는 사실은 그 자체로 자산이다. A.X K2의 사전학습은 엔비디아 B200 512장으로 약 70일간 이뤄졌다. SK텔레콤이 한계 항목에서 그 제약 탓에 더 큰 컴퓨트로 학습된 동급 모델보다 성능이 다소 부족했다고 스스로 밝힌 대목은, 어떤 홍보 문구보다 신뢰가 간다.

다만 기대의 대상은 바꿔야 한다. '모델'이 아니라 '조직'에 기대하는 편이 정확하다. 모델은 6개월이면 낡지만 조직은 남는다.

그리고 정부가 다음 라운드에서 물어야 할 질문도 바뀌어야 한다. 200명의 국민평가단을 나흘간 투입한 이번 시도는 방법론적으로 허술한 구석이 있다. 절대평가 나흘로 무엇을 알 수 있느냐는 지적은 타당하다. 한 언론 보도에 따르면 정부 관계자가 블라인드 테스트를 적용하지 않은 이유로 "AI에 '너의 모델 이름은 뭐야'라고 물어보면 보통 AI가 답을 해버린다"는 현실적 제약을 들었다. 측정 설계가 그만큼 어렵다는 뜻이다.