베슬AI, 업스테이지 '솔라 프로4' 글로벌 추론 뒷받침…처리속도 최대 3배↑

오픈라우터 사용량 3위 운영 지원…한국·미국·유럽 GPU 인프라로 비용 최대 50% 절감

베슬AI가 업스테이지의 인공지능(AI) 모델 '솔라 프로4'의 글로벌 추론 인프라 운영을 맡으며 사업 영역을 확대하고 있다. 그래픽처리장치(GPU) 인프라 공급을 넘어 AI 모델의 실제 서비스 운영까지 지원하며 글로벌 추론 시장 공략에 속도를 내는 모습이다.

베슬AI는 업스테이지의 거대언어모델(LLM) 솔라 프로4에 글로벌 추론 인프라를 제공하고 자체 최적화 기술을 적용해 처리 속도와 운영 비용을 개선했다고 12일 밝혔다.

솔라 프로4는 지난 9월 글로벌 LLM 마켓플레이스 '오픈라우터'에서 실제 이용량 기준 3위에 올랐다. 베슬AI는 해당 기간 솔라 프로4의 글로벌 추론 서비스 운영을 담당하며 전 세계 이용자들의 요청을 처리했다.

베슬AI가 솔라 프로4의 일일 토큰 처리량이 80억 개에서 1550억 개로 증가하는 동안 글로벌 인퍼런스 인프라를 통해 지원했다. (사진=베슬AI)

특히 솔라 프로4의 일일 토큰 처리량이 80억개에서 1550억개로 약 19배 증가하는 동안 필요한 추론 인프라를 지원했다. 국내에서 개발한 AI 모델의 글로벌 이용 확대를 국내 네오클라우드 기업의 인프라가 뒷받침한 사례다.

AI 추론은 학습을 마친 모델이 실제 서비스 환경에서 이용자의 질문이나 요청을 처리하는 과정이다. 신규 모델 출시나 프로모션 등으로 이용량이 급증할 경우 안정적인 서비스를 유지하기 위해 충분한 GPU 자원과 효율적인 운영 기술이 필요하다.

베슬AI는 업스테이지와 모델 출시 일정과 예상 수요를 공유하고 필요한 추론 용량을 공동으로 설계했다. 한국과 유럽, 미국 등 여러 지역에 확보한 GPU 클러스터를 활용해 글로벌 이용자의 요청에 대응했다.

자체 추론 엔진 최적화 기술도 적용했다. 모델 특성과 실제 이용 패턴에 맞춰 GPU 자원을 배분하고 캐시 활용률 개선, 모델 양자화, 추론 속도 향상 기술 등을 적용해 처리 효율을 높였다는 설명이다.

그 결과 베슬AI에 따르면 추론 엔드포인트 도입 전후를 비교했을 때 처리 속도가 평균 2배, 최대 3배 향상됐다. 캐시 활용률 개선을 통해 토큰당 비용도 최대 50% 절감했다.

이번 협력으로 업스테이지는 모델 연구와 제품 개발에 집중하고 베슬AI는 수요 예측부터 인프라 구성, 추론 서비스 운영까지 담당하는 구조를 마련했다. 베슬AI는 앞으로도 솔라 모델의 글로벌 이용 확대에 필요한 추론 인프라를 지원할 계획이다.

베슬AI는 최근 SK바이오팜에 AI 연구개발용 GPU 인프라를 공급하고 네오AI와 포항 AI 데이터센터의 GPU 플랫폼 구축·운영 협약을 체결하는 등 기업 고객과 인프라 사업을 확대 중이다. 여기에 솔라 프로4 운영 경험을 더해 AI 모델의 추론 서비스를 제공하는 인퍼런스 프로바이더로 사업 영역을 넓힌다는 전략이다.

안재만 베슬AI 대표는 "이번 협력은 한국에서 개발한 모델의 글로벌 성과를 한국 네오클라우드의 인프라로 뒷받침했다는 점에서 의미가 크다"며 "축적한 인퍼런스 운영 경험을 바탕으로 모델 제공자가 연구와 제품 개발에 집중할 수 있는 환경을 제공하고 기업의 안정적인 오픈소스 모델 도입을 지원하도록 인퍼런스 프로바이더로서 역량을 강화하겠다"고 말했다.