국내기업 언어AI(LLM) 1134개···야놀자·이든티앤에스 우수 뽑혀

NIA '2023년 올해의 LLM' 시상식 개최...황종성 원장 "평가 지표 추가하고 방식 개선"

국내 기업이 보유해 운영중인 LLM 모델(언어AI)이 최소 1134개인 것으로 나타났다.

한국지능정보사회진흥원(NIA, 원장 황종성)은 업스테이지(대표 김성훈, 영어명 성킴)와 공동으로 5일 광화문 소재 서울사무소에서 ‘2023년 올해의 LLM’ 시상식을 개최, 우수 모델 2개를 선정해 시상했다고 밝혔다.

이번 우수 모델 시상은 NIA와 업스테이지가 운영중인 '한국형 LLM 평가 보드'인 ‘Open-Ko LLM 리더보드(이하 리더보드)'를 통해 접수된 1134개 LLM(올 2월 9일 마감 기준) 대상으로 5개 성능 지표에 따라 기능을 평가했다. 국내AI기업이 보유한 LLM이 최소 1134개가 되는 것이다. AI솔루션을 보유하고 있다고 정보통신산업진흥원(NIPA)에 등록한 국내AI기업은 작년말 현재 2000곳이 넘는다. AI기업 외에 각 민간 산업군(도메인)에서 보유한 LLM도 있어 전체 숫자는 더 많다.  

NIA가 운영중인 'Open Ko-LLM 리더보드'는 글로벌 최대 AI 개발자 오픈소스 커뮤니티인 '허깅페이스'의 LLM 리더보드(영어 버전)를 벤치마크해 구축한 최초의 한국어 언어 모델 성능 평가 체계다. 평가 대상 5개 기준은 추론능력, 상식능력, 언어이해력, 환각방지능력, 한국어 상식생성능력 등이다.

LLM 수상자 및 시상자들이 기념 촬영을 했다. 왼쪽부터 업스테이지 박찬준 리더, 이든티앤에스 최승현 상무, 김연기 대표, NIA 황종성 원장, 야놀자 이준영 대표, NIA 신신애 본부장.

특히 '대화(chat)' 기반 AI모델은 좋은 사전학습 모델을 기반으로 튜닝을 진행하는 것이 중요하므로, 이번 시상은 근간이 되는 ‘사전학습(Pretrained) 모델’과 응용을 하는 파인튜닝(Finetuning) 모델’로 분야를 나눠 가장 우수한 점수를 획득한 모델을 선정해 시상했다. 사전학습(Pretrained 모델)은 사전에 학습시킨 모델을 파인튜닝(Finetuning) 모델은 목표하는 데이터로 미세 조정한 모델을 말한다.

이 결과, 사전학습 모델 부문에서는 ‘야놀자’가, 파인튜닝 부문에서는 이든티앤에스가 각각 1위를 차지해 NIA 원장상을 받았다.

NIA는 "리더보드 목적은 한국어 LLM 평가 생태계 구축이며, 생태계 핵심은 표준화(Standardization)”라면서 "NIA와 업스테이지는 이러한 표준화를 잘 이루어낼 수 있게 다양한 능력을 평가할 수 있는 평가지표를 추가하고, 평가방식 등을 지속적으로 개선해 나갈 계획"이라고 밝혔다. 이어 "NIA는 국내 자연어처리 분야 최정상급 교수들로 구성한 리더보드 운영위원회를 통해 리더보드 활성화와 발전 방향을 도출해 나갈 예정"이라고 덧붙였다.

황종성 NIA 원장은 "국내 리더보드에서 우수한 성적을 보인 기업이 글로벌 리더보드에서도 독보적인 위치를 차지하는 등 Open Ko-LLM 리더보드의 수준이 매우 높아지고 있다"면서 "앞으로도 국내 기업의 초거대 언어모델 역량 강화와 민관협력을 위해 적극  지원하겠다”고 밝혔다.