트릴리온랩스, '알브릿지'로 AI 개발 공식 깬다…LLM 개발비 100배 절감

소규모 모델로 대형 모델 추론 성능 예측…기존 대비 연산 효율 최대 733배 높여

트릴리온랩스가 거대언어모델(LLM) 개발의 고질적인 비용 한계를 극복할 핵심 기술을 선보이며 AI 생태계 혁신에 착수했다.

트릴리온랩스는 소규모 프록시 모델로 대규모 언어모델의 추론 성능을 예측하는 새로운 방법론 '알브릿지(rBridge)'를 21일 공개했다.

해당 방법론의 공개는 기존 언어모델의 학습에 막대한 연산 비용이 들기 때문이다. 특히 추론 능력은 모델이 특정 규모의 임계점을 넘어야만 급격히 나타나는 특성을 보인다. 이 때문에 작은 모델만으로는 대형 모델의 성능 예측이 어려워 불가피하게 막대한 비용의 대규모 학습을 반복해야 했다.

알브릿지 파레토 그래프 (사진=트릴리온랩스)

알브릿지는 이러한 한계를 극복하도록 설계됐다. 10억 개 이하 매개변수의 작은 모델만으로 최대 320억 개 매개변수에 이르는 대형 모델의 추론 능력을 효과적으로 예측한다. 언어모델의 본래 학습 방식인 '다음 단어 예측'을 고려해 평가 방식을 학습 목표와 실제 과제에 맞췄다. 이를 통해 작은 모델이 대형 모델의 성능을 더 정확히 대신하게 했다.

이 기술은 데이터셋 평가와 순위 매기기에 드는 비용을 기존보다 100배 이상 줄였다. 연구자와 기업은 대규모 모델을 직접 학습하지 않고도 데이터셋 품질을 빠르고 저렴하게 확인할 수 있다. 새로운 데이터셋 실험이나 산업별 특화 모델 개발에서 큰 비용 절감 효과가 기대된다.

트릴리온랩스의 알브릿지 기술은 혁신적인 연산 효율성도 입증했다. 기존 방법 대비 최대 733배 높은 효율성을 기록했다. 동일한 예측 정확도를 달성하는 데 필요한 연산량도 획기적으로 줄었다.

이번 기술은 1억 개 미만 매개변수 모델부터 320억 매개변수 규모의 다양한 모델을 대상으로 검증을 마쳤다. 총 6개의 핵심 추론 벤치마크를 통해 성능이 확인됐다. 벤치마크에는 초중등 수학 문제 해결(GSM8K), 고등 수학 문제 해결(MATH), 과학 상식 기반 추론(ARC-C), 대학 전문가 수준 지식 평가(MMLU Pro), 프로그래밍 정확도 평가(Humaneval) 등이 포함됐다.

신재민 트릴리온랩스 대표는 "이번 연구 성과는 작은 모델로도 대형 모델의 추론 능력을 신뢰성 있게 예측할 수 있다는 가능성을 처음으로 입증한 것"이라며 "연구자들이 데이터셋과 모델 설계를 훨씬 효율적으로 선택할 수 있는 길을 열었다는 점에서 LLM 연구와 AI 생태계의 새로운 전환점이 될 것"이라고 말했다.