독파모 수학 시험지 부실 지적…NIA "외부 검증 마쳐"

김장겸 의원, 4개월 구축·2명 검수 과정 비판…NIA "외부 전문가 통해 추가 검증"

정부의 '국가대표 인공지능(AI)' 선발전인 독자 AI 파운데이션 모델(독파모) 사업의 수학 평가 문항을 두고 국정감사에서 검증 부실 논란이 제기됐다. 촉박한 구축 일정과 부족한 검수 인력이 문제로 지적되자 한국지능정보사회진흥원(NIA)은 외부 전문가를 통해 전수 검증을 마쳤다고 해명했다.

김장겸 국민의힘 의원은 15일 서울 여의도 국회에서 열린 과학기술정보방송통신위원회 국정감사에서 독파모 평가에 활용된 수학 데이터셋 '수학(SOOHAK)'의 구축 및 검증 과정을 문제 삼았다.

김장겸 의원은 데이터셋 구축에 참여한 연구진이 작성한 논문을 근거로, 4개월이라는 촉박한 일정 탓에 검수 체계를 충분히 마련하지 못했다고 꼬집었다. 김 의원이 입수한 자료에 따르면 수행사 내부에서 실제 문항을 검토한 인력은 연구원 2명에 불과했다. 이들은 문제를 직접 풀지 않고 출제자의 정답과 AI 모델의 답변을 비교하는 방식으로 검수했다는 설명이다.

(사진=국회방송 생중계 화면 갈무리)

외부 기관의 표본 검토에서는 일부 문항의 오류 가능성도 확인됐다. 김 의원은 "외부 기관에 일부 문항을 표본 검토 맡긴 결과 약 5%에서 문제가 발견됐다"며 "국가대표 AI 참여 기업의 탈락 여부를 가리는 수학 문제가 제대로 검증되지 못한 채 확정된 것 아니냐"고 지적했다.

김형철 NIA 원장은 수행사의 내부 검수와 별개로 추가 검증을 실시했다고 반박했다. 김 원장은 "문제가 출제된 다음 NIA에서 카이스트 교수 등 전문가와 다른 품질 검증 기관을 통해 별도로 검증했다"며 "전수조사를 다 했다"고 강조했다.

데이터셋 구축 사업 관련 정보의 비공개 문제도 제기됐다. 김 의원은 과학기술정보통신부와 NIA가 제출한 자료에는 수행기관명이 공개되지 않았지만, 연구진이 발표한 논문에는 참여 업체와 해외 AI 모델의 평가 점수 등이 담겼다고 질타했다.

김장겸 국민의힘 의원이 15일 서울 여의도 국회 과학기술정보방송통신위원회에서 열린 국정감사에서 공개한 독파모 데이터셋 구축사업 참여기관 명단 (사진=국회방송 생중계 화면 갈무리)

김 원장은 이에 대해 독파모 3차 평가가 남아 있어 관련 정보를 모두 공개하기 어렵다는 입장을 밝혔다. 또 논문에 이름을 올린 저자들은 작성 과정에서 아이디어를 모은 참여자들이라고 부연했다.

이날 국감에서는 정보통신산업진흥원(NIPA)의 사업 평가위원 운영 방식에 대한 개선 요구도 나왔다. 김 의원은 지난해 NIPA 사업에서 선정평가를 맡은 위원이 결과 및 검수평가에도 참여한 사례가 최소 215건에 달한다며 평가위원 선정 기준과 운영 체계를 개선해야 한다고 강조했다.

김 의원은 "AI 예산이 지금 조 단위로 불어나는 판에 여기에 걸맞은 평가 체계를 마련해야 되는 것 아니겠느냐"며 "좀 더 투명하게 혹은 촘촘히 개선하지 않으면 문제가 많이 생길 것 같다"고 말했다.