과기정통부, 독파모 평가 '공정성·기업 보호' 최우선…"투명한 절차로 이의신청 심의"

과학기술정보통신부(이하 과기정통부)가 모티프테크놀로지스(이하 모티프)의 '독자 AI 파운데이션 모델(독파모') 2차 평가 이의제기에 공식 입장을 내놨다.

과기정통부는 국가대표 AI 육성을 위한 독파모 2차 평가와 관련해, 절차적 투명성을 엄격히 준수하는 동시에 참여 기업을 적극 보호하겠다는 의지를 표명했다.

이의신청을 15일 이내에 처리하되 업체별 상세 점수의 전면 공개는 기업에 미칠 파장을 고려해 신중히 검토하겠다는 입장이다.

아울러 독파모 탈락이 해당 기업 AI 역량 전반이나 다른 정부 사업 참여에 불이익으로 이어져서는 안 된다고 선을 그었다. 더불어 경쟁력 있는 기업과 탈락 이후에도 기술 개발과 사업화를 이어갈 수 있도록 협력을 이어갈 것이란 의지도 내비쳤다.

김경만 과기정통부 AI정책실장은 27일 서울 프레지던트호텔에서 열린 '제2차 과학기술·인공지능 미래전략회의' 현장에서 독파모 이의신청 처리 절차와 벤치마크 배점 산정 배경, 활용성 평가 도입 취지 등을 설명했다.

김 실장은 "이의신청은 저희가 이틀 전에 받았다"며 "절차와 형식에 따라 접수 여부를 검토하고 있고 내용 판단은 전문가 평가위원들의 몫"이라고 말했다. 이어 이의신청은 15일 이내 결론을 내릴 예정이며 관련 심의는 별도 위원회가 주관할 것이라고 설명했다.

점수 공개 범위를 두고는 1차 발표 때보다 공개 정보가 적었다는 지적이 제기된 데 따라, 2차 평가에서도 1차와 유사한 수준의 정보를 공개했다는 입장이다.

김 실장은 "제도의 공정성과 객관성에 최대한 가치를 두고 있다"면서도, 세부 점수를 전면 공개할 경우 하위 평가를 받은 기업에 불필요한 낙인 효과가 생길 수 있다는 우려를 나타냈다. 그는 "얼마만큼 공개할 수 있을지는 오후에 결정해서 별도 자료로 다시 안내하겠다"고 말했다.

이번 논란의 핵심인 사용성·활용성 평가에 대해서는 오해가 있다고 선을 그었다. 김 실장은 "1차 평가 이후 독자성 기준을 명확히 하자는 지적과 모델을 만드는 것보다 활용이 더 중요하다는 지적이 있었다"며 "2차 평가부터 독자성 합치 여부를 확인했고, 활용 관련 배점은 전문가 평가 내에서 10점에서 15점으로 높였다"고 설명했다.

이어 "사업계획서상 목적에는 성능 목표뿐 아니라 서비스 목표도 포함돼 있다"며 "활용성 평가가 UI·UX를 보겠다는 뜻은 아니다"라고 말했다. 오히려 UI·UX를 인위적으로 꾸민 결과물이 평가에 영향을 미치지 않도록, 평가자들에게 프로토타입과 모델 자체를 중심으로 판단해 달라고 요청했다는 설명이다.

앞서 모티프는 자사 모델 '모티프 3'가 글로벌 AI 평가기관 아티피셜 애널리시스의 AI 인덱스(AAII)에서 참여 모델 가운데 가장 높은 47점을 받았지만, 독파모 2차 종합평가에서는 최하위로 탈락했다며 이의신청을 냈다.

김 실장은 모티프의 글로벌 벤치마크 성과는 인정했다. 그는 "모티프의 AAII 점수가 다른 팀보다 높고 성능이 좋다는 점을 정부 발표에서도 계속 강조했다"며 "글로벌 평가에서 좋은 성과를 낸 것은 사실"이라고 말했다.

다만 AAII 결과가 독파모 평가의 전부는 아니라고 밝혔다. 김 실장은 "AAII의 공신력은 인정한다"면서도 "한국어 특성과 안전성, 신뢰성 등을 반영한 별도 성능평가도 있었다"고 설명했다. 공개 벤치마크 점수만으로 최종 순위를 판단하기는 어렵다는 취지다.

독파모 2차 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 정부는 사용자 평가에 일반 국민뿐 아니라 실제 AI를 활용하는 현업 종사자 평가도 포함됐다고 밝혔다.

김 실장은 "모델을 잘 만드는 능력과 이를 실제로 활용하는 능력은 다를 수 있다"고 말했다. 독파모가 국가대표급 AI 모델 개발에 더해 개인과 기업 현장으로 AI를 확산하는 것을 목표로 하는 만큼, 활용성 역시 주요 평가 요소라는 설명이다.

평가 기준이 계속 바뀐다는 지적에는 정부가 일방적으로 기준을 정한 것이 아니라고 설명했다. 김 실장은 "기준은 참여 업체와의 합의를 통해 만들어졌으며 정부가 일방적으로 정한 것이 아니다"라며 "이 기준은 6월 17일자로 이미 공지됐다"고 강조했다.

그는 독파모가 기획 단계부터 고정된 목표가 아니라 기술 흐름에 맞춰 목표와 평가 요소를 조정할 수 있는 '무빙 타깃(moving target)' 개념을 전제로 했다고 설명했다. 에이전트형 AI, 추론, 코딩 능력 등이 핵심 경쟁 요소로 급부상하는 등 AI 트렌드가 빠르게 바뀌는 환경에서 최신 버전의 AAII를 적용하면서 일부 기업의 점수 변화가 있었다는 것이다.

김 실장은 이번 탈락 결과가 모티프의 기술력 전반에 대한 부정적 평가나 낙인으로 번져서는 안 된다고도 강조했다. 경쟁형 평가 특성상 순위와 탈락 기업이 나올 수밖에 있지만, 하위 평가를 받은 기업이 마치 역량이 부족한 기업처럼 받아들여지는 부작용은 경계해야 한다는 것이다.

김 실장은 "정부가 생각하는 공정성과 객관성의 가치는 변함없다"며 "기업들의 더 좋은 부분을 부각시키려 노력한다는 점을 이해해 달라"고 말했다.