AI 모델 120여 개를 한 플랫폼에…카페24, 'LLM 라우터' 공개

사용자 요청 맞춤형 '오케스트레이터' 역할도 수행

카페24는 하나의 응용 프로그램 인터페이스(API)로 120개 이상의 인공지능(AI) 모델을 통합 활용할 수 있는 AI 운용 인프라 서비스 '초거대 언어모델(LLM) 라우터'를 선보인다고 23일 밝혔다. 

LLM 라우터는 ▲챗GPT ▲클로드 ▲제미나이 등 주요 AI 모델 120여 개를 하나의 플랫폼으로 연결하고, 사용자가 입력한 요청에 맞는 모델을 선택·분배·전환해 주는 '오케스트레이터'의 역할을 수행한다.

LLM 라우터는 오픈AI GPT 패밀리 모델을 포함해 ▲클로드 ▲제미나이 ▲딥시크 ▲큐웬 ▲라마 등 120여 개 AI 모델을 하나의 API로 이용할 수 있도록 지원한다. 구현의 핵심은 라우팅 엔진이다. 라우팅 엔진은 사용자가 입력한 요청 내용을 바탕으로 ▲코딩 ▲추론 ▲번역 ▲창작 등 작업 유형을 분석해 적합한 AI 모델을 자동 연결한다. 사용할 모델 범위를 미리 지정해두면 그 안에서만 자동 연결돼 모델을 일일이 비교하거나 선택하지 않아도 목적에 맞는 AI를 활용할 수 있다.

(사진=카페24)

사용자가 원하는 기준에 따라 AI 서비스 제공사의 우선순위를 설정할 수 있는 기능도 제공한다. 동일 모델을 제공하는 여러 AI 서비스 제공사 가운데 ▲비용 ▲속도 처리량 등 사용자가 선택한 기준에 따라 가장 적합한 제공사로 자동 연결한다. 

예를 들어 같은 클로드 모델이라도 비용을 기준으로 설정하면 가장 비용 효율이 높은 제공사로, 속도를 기준으로 설정하면 가장 빠른 제공사로 자동 연결된다. 특정 AI 서비스 제공사를 허용하거나 제외하는 화이트리스트, 블랙리스트 기능도 지원한다. 사용자는 이를 통해 자동 연결 대상 범위를 필요에 따라 유연하게 확대, 축소할 수 있다.

특정 AI 모델이 응답하지 않을 경우를 대비해 '자동 전환 기능'도 지원한다. 사용자는 주 모델과 대체 모델을 미리 설정할 수 있으며, 앞선 모델이 응답하지 못하면 다음 후보 모델이 자동으로 요청을 이어받는다. 예를 들어 주 모델로 사용하던 클로드가 응답하지 않을 경우 사전에 지정한 다른 모델이 자동으로 처리해 연속성 있는 운영 환경을 구성할 수 있다.

여러 AI 모델을 하나의 환경에서 직관적으로 관리할 수도 있다. 사용자는 '실시간 대시보드'를 통해 ▲요청 수·비용·토큰 사용량 추이와 ▲모델별 비용 비중 ▲성공·실패 비율 등을 한 화면에서 확인할 수 있다. 요청 단위 상세 기록과 팀·프로젝트·환경별 사용량 분류 추적도 지원해 AI 활용 현황과 비용 구조를 보다 효율적으로 파악할 수 있다.

사용자가 보유한 AI 모델 키를 LLM 라우터에 연결해 쓸 수도 있다. 'BYOK(Bring Your Own Key)' 모드를 통해 ▲GPT ▲클로드 ▲제미나이 등 이미 사용 중인 모델 키를 등록하면 해당 모델을 LLM 라우터 환경에서 그대로 활용할 수 있다. 이를 통해 LLM 라우터를 거치더라도 AI 모델 사용 비용을 직접 관리할 수 있다.

LLM 라우터는 충전한 만큼 사용하는 크레딧 종량제로 운영된다. 가입 즉시 무료 크레딧을 제공해 서비스를 직접 경험해볼 수 있다.

카페24는 앞으로도 신규 AI 모델과 AI 서비스 제공사 지원 범위를 지속 확대하고, AI 운영과 관리 편의성을 높이는 기능도 함께 고도화해 나갈 계획이다.

이재석 카페24 대표는 "AI 모델의 종류가 빠르게 늘어나면서 이를 효율적으로 연결하고 운영하는 것이 새로운 과제가 되고 있다"며 "앞으로도 사용자가 다양한 AI를 보다 편리하게 활용할 수 있도록 관련 인프라 역할을 충실히 해나가겠다"고 말했다.