베일 벗은 독파모 AI 평가 점수...전문가·국민 평가가 승패 갈랐다

업계 요청에 투명성으로 화답한 과기정통부…'독파모' 세부 점수 전격 공개

정부가 '독자 인공지능(AI) 파운데이션 모델' 프로젝트 2차 평가의 상세 점수를 발표하면서, 모티프테크놀로지스가 최종 선정되지 못한 이유가 명확해졌다.

과학기술정보통신부는 27일 2차 단계평가 종합점수를 공개했다. SK텔레콤이 70.6점으로 1위를 차지했으며, 업스테이지 69.9점, LG AI연구원 69.0점으로 뒤를 이었다. 모티프테크놀로지스는 65.8점으로 4위를 기록했다.

모티프는 글로벌 벤치마크 평가에서는 가장 높은 점수를 받았지만 전문가와 사용자 평가에서 상대적으로 낮은 점수를 기록한 것으로 나타났다. 모티프의 벤치마크 평가는 24.6점으로 4개 팀 중 가장 높았지만 전문가 평가는 27.1점과 사용자 평가는 14.1점으로 모두 최하위였다.

류제명 과학기술정보통신부 제2차관이 18일 정부서울청사에서 독파모 프로젝트 2차 단계평가 결과 브리핑을 열고 업스테이지, SK텔레콤, LG AI연구원 등 3개 팀이 다음 단계에 진출했다고 밝혔다.

특히 글로벌 AI 성능을 측정하는 '아티피셜 애널리시스 인텔리전스 인덱스(AAII)' 평가에서 모티프는 11.9점으로 1위를 기록했다. 업스테이지가 9.4점으로 뒤를 이었으며 SK텔레콤은 8.8점과 LG AI연구원은 7.8점을 받았다.

한국어와 안전성 등 국내 활용 환경을 반영한 한국지능정보사회진흥원(NIA) 벤치마크에서는 SK텔레콤이 13.4점으로 가장 높은 점수를 받았다. 업스테이지는 13.3점과 LG AI연구원은 12.8점이었으며 모티프는 12.7점을 기록했다.

전문가 평가에서는 LG AI연구원이 29.5점으로 1위에 올랐다. SK텔레콤은 29.3점과 업스테이지는 29.1점을 기록했으며 모티프는 27.1점으로 가장 낮았다. 평가는 개발 전략과 기술 10점, 개발 성과와 계획 10점, 파급효과와 기여계획 15점으로 구성됐다.

실제 이용자 평가에서는 SK텔레콤과 LG AI연구원이 강점을 보였다. AI 전문 사용자 평가에서는 SK텔레콤이 11.6점으로 1위였으며 LG AI연구원 11.3점과 업스테이지 10.8점, 모티프 8.4점 순이었다.

일반 국민 평가에서는 LG AI연구원이 7.6점으로 가장 높은 점수를 받았다. SK텔레콤은 7.5점과 업스테이지는 7.3점을 기록했으며 모티프는 5.7점에 그쳤다. 일반 국민 평가는 성별과 연령별 비율을 반영해 무작위로 선정된 200명 가운데 실제 참여한 185명을 대상으로 진행됐다.

(왼쪽상단부터) LG AI연구원 엑사원, SK텔레콤 'A.X K2', 업스테이지 솔라2, 모티프3. (사진=지디넷코리아)

정부는 이번 추가 공개가 모티프 요청에서 시작됐다고 설명했다. 이날 모티프는 입장문을 통해 세부 평가 결과 공개를 요청했으며, 다른 정예팀들도 이에 동의했다. 정부는 그동안 기업의 직·간접적 피해 가능성과 평가 과정 공정성·투명성을 함께 고려해 공개 범위를 신중하게 결정해왔다.

과기정통부는 "이번 결과 공개 이후에도 우리 기업들이 단순한 점수나 순위로 평가받기 보다 보유한 저력과 역량을 바탕으로 국내외 AI생태계에 폭넓게 기여해야 한다"며 "우리 AI생태계가 새롭고 경쟁력 있는 AI기업들이 끊임없이 도전하는 역동적인 생태계로 발전해 나가기를 기대한다"고 밝혔다.

임정환 모티프 대표는 AAII 평가에서는 1위를 기록했지만 국지능정보사회진흥원(NIA) 벤치마크에서 최하위로 낮은 점수를 받은 데 대해서는 회사 모델 개발 전략에 따른 결과라고 선을 그었다. 모티프는 글로벌 AI 시장에서 경쟁력을 우선 확보하는 방향으로 개발하면서 한국어 데이터 확보와 성능 개선에는 상대적으로 역량을 덜 투입했다고 밝혔다. 

그는 "우리가 한국어 성능까지 잡을 여력은 없었다"며 "한국어 데이터가 타사에 비해 많이 부족한 것도 사실"이라고 밝혔다. 이어 "궁극적으로 AI는 글로벌 경쟁을 해야 한다고 판단하고 있어서 한국어 성능을 완벽하게 잡고 갈 수는 없겠다는 내부 판단을 하고 진행한 것이고 거기에 맞는 숫자가 나온 것"이라고 말했다.

임 대표는 NIA 평가 결과 자체에 대해서도 별도 문제를 제기할 계획은 없다는 입장이다. 그는 "이건 시험 보듯 그냥 채점한 것이라 검수할 필요조차 없는 부분이고 특별히 다른 할 말은 없다"고 밝혔다.