질문 난이도 따라 LLM 골라 쓴다…라이너, 모델 API 출시

고난도 질의 43%만 고성능 모델 배정…토큰 비용 50% 이상 절감 효과

라이너가 질문 난이도에 따라 적합한 거대언어모델(LLM)을 자동 배정해 답변 품질을 유지하면서 토큰 비용을 50% 이상 줄이는 모델 응용 프로그램 인터페이스(API)를 출시했다.

라이너는 AI 오케스트레이션 솔루션 '라이너 모델 API'를 출시했다고 15일 밝혔다. 

기존에는 답변 품질을 높이기 위해 모든 질문을 고가의 프런티어급 모델로 처리하는 경우가 많았다. 하지만 질문마다 난이도가 다른 만큼 간단한 질의까지 고성능 모델로 처리하면 불필요한 비용이 발생할 수 있다.

(사진=라이너)

라이너는 자체 AI 서비스를 운영하며 축적한 모델 평가 경험을 정밀 오케스트레이션 기술에 활용했다. 앞서 회사는 라이너 검색, 라이너 스콜라, 라이너 라이트, 라이너 파이낸스 등 다양한 AI 에이전트 제품을 운영하며 서로 다른 LLM 성능을 다각도로 비교·검증해왔다.

라이너의 실사용 환경 자체 데이터 평가 결과, 고성능 모델로 배정된 질의 비중은 약 43%로 나타났다. 코딩과 수학, 복합 추론이 필요한 고난도 질의는 상위 모델을 적용하고 나머지 57%의 일반 질의에는 효율적인 모델을 배정해 비용 절감 효과를 높였다.

이 과정에서 라이너는 실제 이용자의 다양한 질의 패턴을 반영하기 위해 비식별 처리한 대표 질의 데이터셋도 구축했다. 일상적인 탐색부터 업무 처리와 학술 연구까지 다양한 이용 패턴을 분석해 모델 배정 알고리즘을 최적화했다.

라이너 모델 API는 기존 API를 교체하는 방식으로 적용할 수 있도록 설계됐다. 기업이 새로운 LLM이 나올 때마다 모델별 성능과 비용을 직접 비교하고 교체해야 하는 부담도 줄이는 것을 목표로 한다.

김진우 라이너 대표는 "모든 질문을 상위 모델로만 처리하는 방식은 간단한 계산에 매번 슈퍼컴퓨터를 동원하는 것과 같다"며 "끊임없이 쏟아지는 신규 모델 성능과 단가를 개발사가 매번 검증하고 교체해야 하는 번거로움을 라이너 모델 API가 해결할 것”이라고 말했다.

이어 "기업들이 비용 부담과 모델 선택의 피로감에서 벗어나 핵심 업무 혁신에만 몰입할 수 있는 환경을 만들겠다"고 부연했다.