AI도 가성비 시대…카페24, '토큰 비용' 관리 나선다

생성형 인공지능(AI) 활용 일상화로 적은 토큰으로도 고품질의 작업을 수행할 수 있는 ‘토큰 가성비’가 주요 경쟁력으로 부상하고 있다. 작업의 유형과 난이도에 따라 적합한 모델을 고르는 ‘모델 라우팅’ 기술이 핵심 요소로 떠오르면서 카페24, KT 등 국내 기업들이 관련 서비스를 연이어 공개하고 있다.

글로벌 AI 모델 중개 플랫폼 오픈라우터에 따르면 주간 토큰 처리량은 지난해 10월 4조 8900억 개에서 지난달 172조 개로 1년 만에 약 35배 증가했다. 반면 전 세계 IT 운영 및 엔지니어링 전문가 2050명 중 55%가 AI 비용을 정확하게 통제하지 못한다고 답하는 실정이다.

2026 스플렁크 옵저버빌리티 현황 보고서에서 응답자의 60%는 높은 기본 운영비보다 예상치 못한 청구 금액의 급증이 조직 운영에 보다 큰 부담을 준다고 토로했다.

이러한 추세에 하나의 AI 모델에 의존하기보다 작업의 성격과 난이도, 비용 등을 고려해 적합한 모델을 선택하는 ‘모델 라우팅’ 기술이 주목받고 있다. 시장조사기관 IDC는 2028년까지 AI 활용 선도기업의 70%가 다양한 AI 모델을 동적으로 연결·관리하는 고급 아키텍처를 활용할 것으로 전망했다.

모든 작업에 동일한 고성능 모델을 적용하면 불필요한 비용이 발생할 수 있고, 저렴한 모델만 사용하면 정확도나 서비스 품질을 확보하기 어렵기 때문이다. 복잡한 작업에는 고성능 모델을, 반복적이고 단순한 작업에는 비용 효율적인 경량 모델을 활용하는 방식이 대안으로 떠오른다.

여러 모델의 사용량과 비용을 한곳에서 파악하고 관리하는 기능도 중요해지면서 국내 기업들이 관련 AI 인프라 서비스를 잇달아 선보이고 있다. 카페24의 ‘거대언어모델(LLM) 라우터’가 대표적이다. LLM 라우터는 단일 응용 프로그램 인터페이스(API)로 여러 AI 모델을 연결하는 서비스다.

아울러, LLM 라우터는 자체 자동 라우팅 기능인 ‘cafe24/auto’를 통해 작업 난이도와 비용에 맞는 최적 모델을 자동으로 선택한다. 개발자가 모델별 가격과 성능을 일일이 비교하거나 모델을 변경할 때마다 연동 코드를 수정해야 하는 부담을 줄일 수 있다.

동일 모델이라도 비용·속도 기준에 맞춰 최적 경로를 고르고, 특정 경로에 장애가 발생하면 대체 경로로 자동 우회해 서비스 중단 위험을 낮춘 것이 특징이다. 월 기본료나 약정 없는 종량제로 실패한 호출은 과금하지 않으며, 실시간 대시보드로 사용량과 비용을 점검할 수 있다. 지원 모델은 출시 초기 120여 개에서 최근 270여 종으로 두 배 이상 늘었다.

국내 통신 및 인프라 기업들의 시장 진출도 이어지고 있다. KT는 지난달 27일 AI 통합 플랫폼 ‘토큰팩토리’를 공개하고 30일부터 기업 고객을 대상으로 정식 서비스를 시작했다. 초기에는 하나의 API로 국내외 73개 AI 모델을 제공하며, 모델 선택부터 사용량 모니터링, 과금·결제까지 통합 지원한다.

KT는 이달 글로벌 AI 모델 중개 플랫폼 오픈라우터와의 연계를 통해 지원 모델을 500개 이상으로 확대할 계획이다.

기업 내부의 여러 AI 서비스와 인프라를 통합 관리하는 솔루션도 있다. AI 인프라 소프트웨어 기업 래블업은 지난달 23일 ‘컨티넘 엔터프라이즈’의 첫 공급 계약을 발표했다. 이 솔루션은 여러 AI 모델로 요청을 분배하는 기능과 함께 각 모델의 토큰 사용량과 운영 정책, 비용을 중앙에서 관리할 수 있도록 설계됐다.