투플랫폼, '수트라 D3' 출시…"10분의 1 비용으로 LLM 구현"

지식 증류·도메인 특화·합성데이터 기반…낮은 비용에도 고성능 구현 가능

투플랫폼이 경량 인공지능(AI) 모델 프레임워크를 선보여 적은 데이터와 비용으로도 고성능 모델을 구현하는데 성공했다.

투플랫폼은 최근 '수트라 D3' 프레임워크를 출시했다고 27일 밝혔다. 이 프레임워크는 지식 증류(Distillation), 도메인 특화(Domain), 데이터 중심 학습(Data) 등 삼각 구조로 설계됐으며 엔터프라이즈 환경에서 즉시 활용 가능한 경량 모델 구축을 목표로 한다.

지식 증류는 대형 모델이 생성한 결과를 모방해 소형 모델을 훈련시키는 방식이다. 범용 거대언어모델(LLM)을 파인튜닝할 때 발생하는 비용과 속도 문제를 줄이면서도 도메인 특화 성능을 확보할 수 있는 대안으로 각광받고 있다.

투플랫폼이 공개한 '수트라 D3'가 기업용 AI의 패러다임을 전환할 수 있을 것으로 전망된다. (사진=투플랫폼)

'수트라 D3'는 합성 데이터를 적극 활용한다. 대형 모델이 생성한 가상의 데이터를 바탕으로 훈련하기 때문에 실제 데이터 확보와 라벨링에 드는 비용을 줄일 수 있다. 의료기관 등 민감 데이터를 보유한 산업군에 특히 유리한 구조다.

온프레미스와 엣지 환경 등 다양한 배포 시나리오도 고려됐다. 전체 모델 규모는 대형 모델의 10분의 1 수준이지만 성능은 유지해 인프라 부담을 줄였다. 응용 프로그램 인터페이스(API) 형태는 물론 디바이스 내장형까지 대응해 활용 범위가 넓다.

투플랫폼은 이 솔루션이 다국어 의료기록 분석 등 복잡한 현장에도 적용도 가능하다고 설명했다. 일례로 병원의 실제 환자 데이터를 쓰지 않고도 정밀 분석이 가능한 특화 모델을 구축할 수 있어 개인정보 문제를 피하면서도 실효성 있는 AI 구현이 가능하다는 입장이다.

이번 프레임워크는 AI 전환(AX) 수요가 높아지는 B2B 시장을 타깃으로 한다. 투플랫폼은 텍스트, 음성, 비주얼, 검색 등 멀티모달 모델도 자체 개발 중이며 최근 챗봇 '챗수트라' 출시 후 한 달만에 이용자 100만명을 돌파하며 일반 사용자와의 접점도 확대하고 있다.

프라나브 미스트리 투플랫폼 대표는 "범용 LLM의 시대가 지나고 이제 AI 트렌드는 실무에 최적화된 경량 모델로 옮겨가고 있다"며 "증류 모델은 경량화, 비용, 내부 데이터 특화 등 모든 측면에서 기업 환경에 도입하기에 가장 적합한 형태로, '수트라 D3'가 기업 고객을 위한 최적의 AX 파트너가 될 수 있을 것"이라고 밝혔다.