래블업, GPU 넘어 AI 토큰 사용료까지 통합 관리

[AI 페스타 26] 폐쇄망·클라우드·온프레미스 환경 통합 관리

래블업이 기업이 보유한 GPU를 나눠 쓰도록 관리하는 것을 넘어 여러 AI 모델을 쓸 때 발생하는 토큰 사용량과 비용까지 한 곳에서 관리해주는 서비스를 선보였다.

래블업은 6일부터 8일까지 서울 코엑스에서 열리는 'AI 페스타 26'에서 AI 인프라 관리 플랫폼 '백엔드닷AI(Backend.AI)'와 AI 모델 통합 운영 서비스 '컨티넘'을 소개했다.

AI를 업무에 도입하려는 기업은 모델을 고르는 일 외에도 해결할 과제가 많다. AI 모델을 돌릴 GPU를 확보해야 하고, 여러 직원과 부서에 자원을 나눠줘야 한다. 외부 클라우드 서비스와 회사 내부 서버를 함께 쓸 경우에는 어느 모델을 이용했는지, 얼마의 비용이 들었는지도 따로 관리해야 한다.

래블업 AI 페스타 26 전시 부스 (사진=지디넷코리아)

래블업은 이 같은 운영 부담을 소프트웨어로 줄여주는 기업이다. 2015년 설립된 래블업은 기업이나 연구기관이 보유한 GPU 등 고성능 컴퓨팅 자원을 여러 사람이 함께 활용하도록 만드는 소프트웨어를 개발해 왔다.

주력 제품인 백엔드닷AI는 GPU와 AI 가속기를 한 화면에서 관리하는 플랫폼이다. 관리자는 사용 가능한 자원을 사용자와 업무별로 배분하고, 연구자나 개발자는 웹 환경에서 자신에게 할당된 컴퓨팅 자원을 이용할 수 있다. 여러 사람이 제한된 GPU를 각자 필요에 맞게 나눠 사용하는 방식이다.

이번 전시 컨셉은 컨티넘이다. 컨티넘은 회사가 사용하는 여러 AI 모델을 연결하고, 사용자 요청을 적절한 모델로 보내는 서비스다. 특정 업무에 어떤 모델을 쓸지 정하고, 모델별 토큰 사용량과 비용을 확인할 수 있도록 지원한다.

토큰은 AI가 질문을 이해하고 답변을 생성하는 과정에서 처리하는 텍스트 단위다. 일반적으로 입력하거나 생성하는 내용이 많고, 고성능 모델을 많이 이용할수록 비용 부담도 커진다. 여러 부서가 각기 다른 AI 서비스를 쓰기 시작하면 회사 입장에서는 어느 팀이 어떤 모델을 얼마나 사용했는지 파악하기가 어려워진다.

래블업은 컨티넘을 통해 이런 사용량을 한데 모아 확인하고, 모델별 요청을 자동으로 나누는 기능을 제공한다는 계획이다. 비용이 중요한 단순 업무에는 비교적 가벼운 모델을, 높은 성능이 필요한 업무에는 고성능 모델을 연결하는 식으로 운영 효율을 높일 수 있다는 설명이다.

래블업 AI 페스타 26 전시 부스 (사진=지디넷코리아)

부스에서는 소형 AI 모델을 현장 로컬 환경에서 구동하면서 사용량을 집계하는 화면을 시연했다. 외부 네트워크와 분리된 환경에서도 AI 모델을 운영하고 사용량을 확인할 수 있다는 점을 보여주기 위한 데모다.

래블업 관계자는 "기존에는 AI 인프라를 연구·개발에 활용할 수 있도록 관리하는 데 집중했다면, 이제는 모델을 직접 서비스하고 비용을 정산하며 요청을 효율적으로 보내는 영역까지 확장하고 있다"고 말했다.

이어 "폐쇄망, 클라우드, 온프레미스, 하이브리드 환경 등 어떤 방식으로 인프라를 구축했는지와 관계없이 하나의 체계에서 관리하는 것이 목표"라고 덧붙였다.

기업의 AI 활용이 실험과 모델 개발을 넘어 실제 고객 서비스와 내부 업무로 넓어지면서, GPU 확보량만큼 운영 효율과 비용 관리도 과제가 되고 있다. 래블업은 백엔드닷AI로 인프라를 관리하고 컨티넘으로 AI 모델 사용량과 비용을 관리하는 구조를 제시했다.

래블업은 현재 120여 고객사를 확보했으며 소규모 개발팀부터 대규모 GPU 클러스터를 운영하는 기관까지 AI 인프라를 쉽게 활용할 수 있도록 지원한다는 전략이다.