신정규 래블업 대표 "AI도 전기처럼 쓰는 시대…복잡한 인프라 쉽게 바꿀 것"

토큰 사용량·비용 관리하는 '컨티넘' 공개…AI 에이전트 플랫폼·자원 격리 기술도 개발

"인공지능(AI)과 인프라는 갈수록 복잡해지고 있습니다. 래블업은 이 복잡한 운영을 직관적이고 간단하게 바꿔 누구나 지능을 계량하고 필요할 때 사용할 수 있도록 만들겠습니다."

신정규 래블업 대표는 29일 서울 코엑스에서 열린 연례 기술 컨퍼런스 'lab ¦ up > /conf/6'에서 AI 산업 변화와 기술 전략에 대해 이같이 밝혔다.

신 대표는 AI가 연구·개발을 넘어 실제 산업과 서비스에 활용되면서 단순히 좋은 모델이나 그래픽처리장치(GPU)를 확보하는 것만으로는 충분하지 않다고 진단했다. 다양한 AI 모델과 가속기, 클라우드와 자체 인프라를 연결하고 사용량과 비용까지 하나의 환경에서 관리하는 역량이 중요해졌다는 설명이다.

특히 AI가 만들어내는 지능을 측정하고 관리하는 기준으로 토큰과 전력, 모델 자체의 지능을 제시했다. 같은 작업이라도 어떤 모델을 사용하느냐에 따라 필요한 토큰과 비용이 달라지는 만큼 AI를 산업적으로 활용하려면 이를 측정할 수 있어야 한다는 분석이다.

신정규 래블업 대표 (사진=지디넷코리아)

신 대표는 "동일한 토큰으로 얼마나 더 많은 지능을 압축해서 제공할 수 있는지가 굉장히 중요한 시점"이라며 "필요한 지능 수준과 문제 해결에 투입해야 하는 토큰량을 함께 계산할 수 있어야 한다"고 설명했다.

래블업은 이를 위한 핵심 제품으로 '백엔드닷AI'와 '컨티넘'을 제시했다. 백엔드닷AI는 다양한 AI 가속기와 대규모 클러스터에서 AI 모델의 학습과 서비스를 통합 운영·관리하는 AI 인프라 플랫폼이다.

컨티넘은 여러 AI 모델로 들어가는 요청을 한곳에서 관리하는 라우터와 이를 통합 관리하는 허브로 구성된다. 클라우드와 자체 구축한 AI 모델을 연결하고 요청을 자동으로 배분하는 동시에 조직과 팀별 토큰 사용량과 비용 등을 확인하도록 지원한다. 컨티넘 라우터의 단독 솔루션은 다음 달 공개할 예정이다.

신 대표는 "토큰이 전기처럼 사용된다고 하면 결국 계량기가 필요한 상황"이라며 "얼마나 절약됐는지, 어느 팀이 토큰을 얼마나 사용하고 있는지 확인할 수 있어야 한다"고 말했다.

AI 에이전트 확산에 대응한 새로운 기술 개발에도 나선다. 래블업은 여러 AI 에이전트가 서버 자원을 안정적으로 나눠 사용할 수 있도록 마이크로 가상머신(VM)과 컨테이너를 결합한 '누빔(Neuvm)'을 개발 중이다. 기존 컨테이너 환경에서 발생하는 디스크 입출력(I/O)과 네트워크 대역폭 격리 문제를 해결하는 것이 목표로, 올해 말 베타 버전 공개를 준비 중이다.

사람과 여러 AI 에이전트가 함께 일할 수 있는 자체 AI 에이전트 플랫폼도 개발하고 있다. 에이전트 생성과 운영을 자동화하고 외부 서비스 호출과 자격 증명 등을 중앙에서 관리하는 구조다. 이를 활용해 사람과 AI 에이전트가 한 공간에서 협업할 수 있는 형태의 업무 공간 '스페이스(Space)'도 구현했다.

신 대표는 "갈수록 복잡해지는 AI의 수면 아래에서 일어나는 것들을 더 직관적이고 간단하게 바꿀 것"이라며 "모두가 지능을 계량하고 원할 때 사용할 수 있도록 하는 일을 지속 추진해 나가겠다"고 강조했다.