리턴제로, '로직Kor' 리더보드 sLLM 파트서 1위

"매개변수 13B이하 sLLM 모델 중 최고 성능"

음성인식 AI 스타트업 리턴제로(대표 이참솔)가 한국어 언어모델의 다분야 사고력을 측정하는 '로직Kor' 리더보드에서 sLLM(경량화된 거대언어모델) 가운데 1위를 달성했다고 2일 밝혔다.

매개변수(파라미터) 9B의 모델 크기를 갖는 리턴제로 LLM은 지난 31일 로직Kor에서 총점 8.67점을 기록, 매개변수 13B이하인 sLLM 모델 중 최고 성능을 보여 신기록을 달성했다. 이는 직전 최고기록인 8.21점을 웃도는 수치다. 로직Kor은 오픈AI·앤스로픽 등 글로벌 빅테크와 국내 기업들이 모두 참여하는 한국어 언어모델 벤치마크로, LLM의 한국어 추론·수학·글쓰기·코딩·이해 등 6개 요소를 측정한다.

‘LogicKor 리더보드’ sLLM 파트 1위 달성

특히 리턴제로 LLM은 '이해' 능력 파트에서 두각을 드러냈다. 리턴제로 LLM 이해 능력은 10점을 기록하며, 동일 크기의 LLM은 물론 모든 크기의 매개변수를 가진 LLM을 모두 통틀어 가장 높은 점수를 나타냈다. 추론 능력에서도 미스트랄 AI, 오픈AI 등 글로벌 빅테크 외에는 처음으로 최상위권인 9점대를 기록했다.

또 리턴제로 LLM은 짧은 기간 내에 높은 수준의 성능을 구현했다. 이번에 선보인 리턴제로의 LLM 모델은 한 달 정도의 신규 파운데이션 모델 파인튜닝 기간을 거쳐 탄생했음에도, 로직Kor 리더보드의 성능 평가에서 높은 점수를 받았다. 최근 업무에 AI를 도입하는 기업이 빠르게 늘어나면서, AI 모델을 빠르게 파인튜닝하는 역량의 중요성이 높아지고 있는 추세다.

리턴제로 팀이 선보인 매개변수가 13B 이하인 sLLM은 현재 AI를 도입하려는 기업들 사이에서 가장 인기가 많은 크기로 꼽힌다. 방대한 매개변수와 데이터를 필요로 하는 기존의 LLM은 천문학적인 비용 탓에 기업 입장에서는 부담스럽지만, sLLM은 적은 매개변수에도 고도화를 통해 성능을 높이고 비용 부담은 줄일 수 있다. 특히 최근 들어 온디바이스 AI에 대한 관심도가 높아지면서 경량화된 sLLM에 대한 수요는 더욱 커지는 모양새다.

리턴제로는 음성인식 AI 스타트업으로 고객관리를 돕는 AI컨택센터(AICC) 플랫폼 구축부터 모바일음성뱅킹, AI콜센터 상담사 등 다양한 핵심 서비스를 제공하고 있다. 실제로 리턴제로는 신한금융그룹의 공통 AICC 모델 구축에 필요한 STT 솔루션을 제공하는 등 전사적인 AX를 가속화하고 있다. 특히 1시간 분량의 유튜브 동영상을 3.5초 만에 정확하게 텍스트로 변환이 가능한 속도와 정확성을 갖춘 음성인식 기술을 보유하고 있다.

이참솔 리턴제로 대표는 "리턴제로 LLM이 더욱 매개변수가 많은 일부 모델보다도 우수한 성능을 보여주면서 리턴제로의 기술 역량을 증명한 것 같아 기쁘다"며 "앞으로도 리턴제로의 노하우를 접목해 글로벌 빅테크와 견주어도 손색없는 최고 수준의 기술을 선보일 것"이라고 말했다.