[단독] 독파모 3차 평가, 개발사 가리는 '블라인드' 검토

정부·참여사, 기업명·모델명 가리는 방안 협의…인지도 따른 선입견 배제 취지

국가대표 인공지능(AI) 선발전에서 기업명과 모델명을 모두 가리는 '익명 평가' 도입을 논의하는 것으로 확인됐다. 개발사를 공개했던 사용자 평가 방식을 바꾸는 방안이다.

3일 업계에 따르면 과학기술정보통신부와 독자 AI 파운데이션 모델(독파모) 사업 참여사는 평가 기준을 정하는 회의에서 3차 사용자 평가에 '더블 블라인드'를 도입할지 협의하고 있다. 도입하면 평가단은 어떤 기업이 만든 모델인지 모르는 상태에서 AI 답변과 사용성을 비교하게 된다. 아직 도입 여부와 세부 방식은 확정되지 않았다.

일부 참여사는 기업 인지도나 선입견이 점수에 영향을 줄 수 있다며 평가 방식 변경을 요구했다. 대기업과 스타트업을 같은 조건에서 비교하려면 개발사 정보를 가려야 한다는 취지다.

배경훈 부총리 겸 과학기술정보통신부 장관이 지난해 12월 열린 '독자 AI파운데이션 프로젝트' 발표회에서 환영사를 하고 있다. (사진=뉴스1 )

독파모는 국내 기업이 자체 AI 모델을 개발하도록 정부가 그래픽처리장치(GPU) 등 자원을 지원하는 사업이다. 단계별 평가를 거쳐 다음 단계 지원팀을 선정한다. 현재 업스테이지와 SK텔레콤, LG AI연구원 등 세 팀이 3차에 참여하고 있다.

사용자 평가는 평가단이 AI를 직접 써보고 답변이 정확한지, 생활과 업무에 도움이 되는지 살피는 절차다. 성능 시험 점수만으로 파악하기 어려운 실제 활용도를 확인하기 위해 마련됐다.

정부는 지난 8월 2차 평가부터 기존 AI 전문 사용자에 더해 일반 국민도 평가에 참여하도록 했다. AI 전문 사용자 49명과 일반 국민 185명이 참여했으며, 전체 평가 100점 가운데 각각 15점과 10점 등 총 25점을 배정했다.

쟁점은 평가단이 어느 기업이 개발한 AI인지 알고 점수를 매겼다는 점이다. 일부 참여사는 답변 품질뿐 아니라 기업 인지도나 이미지가 평가에 반영될 수 있다며 개발사 정보를 가려야 한다고 요구했다.

2차 평가에서 탈락한 모티프테크놀로지스도 이런 이유로 블라인드 평가를 요청한 바 있다. 모티프는 글로벌 AI 성능 지표인 아티피셜 애널리시스 지능지수(AAII)에서 참여팀 중 최고점을 받았지만 사용자 평가에서는 25점 만점에 14.1점으로 가장 낮았다. 같은 항목에서 SK텔레콤은 19.1점, LG AI연구원은 18.9점, 업스테이지는 18.1점을 기록했다.

모티프는 탈락 이후 사용자 평가 방식과 상세 결과 공개를 요구했다. 다만 기업 인지도가 실제 점수에 얼마나 영향을 줬는지는 확인되지 않았다.

블라인드 평가 실효성을 두고도 정부와 일부 참여사는 시각차를 보였다. 정부는 이름을 가려도 AI에 질문하는 과정에서 어떤 모델인지 알아낼 수 있다고 봤다. 일부 참여사는 모델을 추측할 가능성이 있더라도 처음부터 개발사 정보를 공개하는 방식은 바꿔야 한다고 주장해 왔다.

이번 3차 사용자 평가에서는 기업명과 모델명을 모두 가리는 방안을 놓고 협의가 이어지고 있다. 도입 여부와 세부 방식은 아직 확정되지 않았다.

3차에 참여하는 세 팀은 내년 1월 말까지 AI 모델을 고도화한다. 과기정통부가 지난달 설명한 일정에 따르면 정부는 내년 2월 중순께 3차 평가를 마무리할 계획이다.

AI 업계 관계자는 "3차 평가는 블라인드 방식으로 가는 것으로 가닥이 잡혀지고 있다"며 "기업명과 모델명을 모두 가려 공정한 심사가 될 수 있는 안으로 심사 방향이 정해지고 있다"고 밝혔다.

과기정통부 관계자는 "평가 기준은 확정되는 대로 안내하겠다"고 말했다.