셀렉트스타, 거대AI모델 평가 데이터셋 만든다

네이버, SK텔레콤, KT, LG AI연구원 등과 컨소시엄 NIA 사업 수행

셀렉트스타(대표 김세엽)는 한국정보화진흥원(NIA)의 '초거대 언어모델 신뢰성 벤치마크 데이터' 사업에 참여하는 컨소시엄의 주관기업을 맡았다고 4일 밝혔다. 이 컨소시엄에는 네이버, SK텔레콤, KT, LG AI연구원, 스캐터랩 등이 참여한다.

이 사업은 AI 학습용 데이터 구축 지원 사업 일환이다. 초거대 언어 모델 학습과 평가에 필요한 데이터셋을 만드는 것이 골자다. 무해성(Harmlessness), 정보 정확성(Honesty), 도움 적정성(Helpfulness) 등 3H의 세 기준에 따라 질문과 답변을 구성하고, 인공지능 모델의 신뢰성을 정량적으로 평가한다. 구축한 데이터는 모델 개발 및 고도화, 인공지능 신뢰 기준 개발 등에 활용할 수 있다.

측정 기준인 ‘3H’는 사람과 상호작용하는 고차원 인공지능에 요구되는 가치다. 오픈AI 창업자들이 설립하고 SK텔레콤에서 1억 달러를 투자받은 미국 AI기업 앤쓰로픽은 지난 5월 생성형 AI의 유해성을 최소화하기 위한 '헌법적 체계의 AI(Constitutional AI)’를 공개하며 "우리는 AI 능력이 인간 수준에 도달하거나 그 이상이 되더라도 도움 되고, 진실하며 무해하게(Helpful, Honest, Harmless) 유지되는 AI 시스템을 훈련시키고 싶다"고 밝힌 바 있다.

이번 과제의 자문을 맡고 있는 KAIST 김재철 AI대학원 최윤재 교수는 “인공지능의 엄청난 발전 속도를 고려했을 때, 국민 개개인이 일상 생활에서 인공지능으로부터 직간접적으로 영향을 받을 시점이 머지않았다. 이에 대비하기 위해 우리가 미리 인공지능의 3H 기준을 정립한다는 점에서 이번 벤치마크 데이터셋의 역할이 대단히 중요하다“고 전했다.

인공지능을 활용하는 기업은 많지만, 대규모 파라미터를 가진 초거대 AI를 사전 학습 단계부터 개발하는 기업 수는 국내에서 손꼽는다. 이번 사업은 국내 선도 AI 기업들이 최초로 신뢰성 기준을 마련하고, 이를 측정할 수 있는 벤치마크 데이터셋까지 구축한다는 데 의의가 있다고 회사는 설명했다.

김세엽 셀렉트스타 대표는 “셀렉트스타는 한국어 대표 벤치마크 데이터셋 클루(KLUE)와 코쿼드(KorQuAD 2.0) 구축에 참여한 유일한 데이터 기업“이라면서 “세계 최고 권위 AI 학회에 여러 차례 등재된 데이터셋을 만든 경험으로 믿을 수 있는 인공지능 개발에 기여하겠다”고 밝혔다.