딥노이드 '딥 솔라', AI모델 평가 'Ko-LLM 리더보드'서 1위

평균 점수 61.45 기록...추론 능력 72.18로 2위(57.08)와 큰 차이

국내 1세대 의료 인공지능(AI) 전문기업 딥노이드(대표 최우식)의 '딥 솔라(deep-solar)'가 한국지능정보사회진흥원(NIA)의 ‘오픈 Ko-LLM 리더보드’에서 1위를 차지했다고 15일 밝혔다.

딥노이드는 자사 AI모델 'deep-solar'가 평균 점수 61.45점으로 1위를 기록했다고 15일 밝혔다. 이 모델은 업스테이지의 대규모언어모델(LLM) ‘솔라(Solar)’를 기반으로 제작했다. 오픈 Ko-LLM에 등록한 전체 모델 중 가장 높은 점수라고 딥노이드는 설명했다.

deep-solar는 ▲Ko-ARC(추론능력, AI가 질문에 대한 답변이 얼마나 적절한지 측정) ▲Ko-HellaSwag(상식능력, AI가 짧은 글 및 지시사항에 알맞은 문장을 생성하는지 여부 측정) ▲Ko-MMLU(언어이해력, 방대한 분야의 질문에 대한 답변이 얼마나 정확한지 측정) ▲Ko-TruthfulQA(환각방지능력, AI가 생성한 답변이 얼마나 진실한지 측정) ▲Ko-CommonGen V2(한국어 상식 생성 능력, AI가 주어진 조건의 질문에 대한 답변이 한국어 사용자라면 보유하고 있을 일반 상식에 부합하는지 여부 측정) 등 다섯 가지 성능평가 지표를 통해 1위를 차지했다.

딥노이드는 "deep-solar는 활용이 무궁무진하다. 원하는 분야 어디로든 확장이 가능해 사업적 다양화를 추구할 수 있다. 또, 한국어 LLM 모델 개발을 통해 경쟁력을 확보했다"면서 "무엇보다 사람의 피드백을 사용자가 학습을 효율적으로 수행하는 인간 피드백을 통한 강화 학습(RLHF)으로 개선한 것이 특징"이라고 설명했다. 이어 "데이터 학습 중 필요 이상으로 데이터를 세밀히 학습하다 보면 정작 중요한 패턴을 설명할 수 없게 되는 Overfitting(과대적합) 현상이 발생한다"면서 "deep-solar는 이 문제를 해결하기 위해 Loss에 정규화를 더해 학습의 안정성을 높였다"고 덧붙였다.

현지훈 딥노이드 AI연구소장은 “우리는 이미 다양한 분야에서 AI를 활용한 영상판독 솔루션을 연구개발했고, 또 성과를 내고 있다”면서 "현재 연구중인 deep-solar를 다양한 우리 사업과 연결해 한층 고도화한 솔루션과 기술을 선보일 것"이라고 밝혔다.

한편 인공지능 소프트웨어 전문 기업인 딥노이드는 영상기반 판독보조 솔루션을 주력으로 개발함과 동시에 LLM(Large Language Models)과 같은 새로운 기술을 활용한 솔루션을 기획 및 연구개발 중이다.

오픈 Ko-LLM 리더보드. 딥솔라가 1위에 올라있다.