삼쩜삼, AI 에이전트 통합 관리…운영 비용 45% 절감

모델 티어링·프롬프트 캐싱 등 고도화…AI 처리 절반은 경량 모델로 소화

환급 플랫폼 삼쩜삼을 운영하는 자비스앤빌런즈가 인공지능(AI) 에이전트 통합 관리 플랫폼을 구축했다. 

자비스앤빌런즈는 개별 AI 에이전트를 통합 관리하는 자체 플랫폼 ‘카터(Carter)’를 구축하고 AI 운영 비용을 최대 45% 절감했다고 27일 밝혔다.

카터는 사내 AI 에이전트 개발과 운영에 필요한 비용을 관리·모니터링하고 보안과 개인정보 보호 기능을 공통으로 제공하는 AI 통합 플랫폼이다. 에이전트별로 기능을 개별 구축할 필요 없이 공통 라이브러리와 인프라를 활용해 중복 개발을 방지할 수 있다. 

(이미지=자비스앤빌런즈)

현재 회사는 카터로 삼쩜삼Q, 삼쩜삼 앱 AI 에이전트 등 삼쩜삼 서비스와 사내 업무 시 활용하고 있는 AI 에이전트 8개를 운영하고 있다.

구체적으로 답변 조합·생성에는 고성능 모델을 유지하되 의도 분류·안전 판정 같은 보조 호출은 경량 모델로 분리하는 ‘모델 티어링(Model Tiering)’을 적용했다. 이로써 전체 호출 약 50%를 경량 모델로 처리해 거대언어모델(LLM) 호출비용을 약 45% 낮췄다. 

반복 프롬프트를 저장해 재사용하는 ‘프롬프트 캐싱(Prompt Caching)’을 플랫폼 표준으로 적용해, 캐시가 재사용되는 구간에서 호출비용을 약 43% 절감했다는 것이 회사 측 설명이다.

불필요한 검색 로직을 단축하고 클라우드 간 자동 장애 전환(Failover) 시스템으로 서비스 다운타임도 최소화했다. 카터를 거치는 모든 AI 호출은 중앙에서 추적·관측되며, 개인정보 자동 비식별 및 프롬프트 인젝션 공격 차단 등의 보안기능을 공통 프레임워크로 제공한다.

강병규 자비스앤빌런즈 최고기술책임자(CTO)는 “비용 절감에 그치지 않고 답변 품질까지 측정하고 관리하는 체계를 갖춰, 구성원 누구나 안전하게 AI 에이전트를 만들고 운영할 수 있는 환경으로 확장해 나갈 것“이라고 강조했다.