기업의 생성형 인공지능(AI) 활용이 실험 단계를 넘어 상시 업무로 확대되면서 모델 성능뿐 아니라 운영비와 통제권이 주요 경쟁 기준으로 떠오르고 있다. 토큰 사용량과 인프라 비용이 빠르게 늘자 외부 AI를 빌려 쓸지, 기업이 직접 통제하는 환경에 구축할지를 둘러싼 선택도 중요해지는 분위기다.
18일 업계에 따르면 코히어는 토큰 가격만으로 기업의 실제 AI 비용을 판단하기 어렵기 때문에 'AI 총소유비용'으로 접근해야 한다고 지적했다. 이용자의 질문 하나에도 문서 검색과 추론, 도구 호출, 재시도, 검증 과정이 이어지면서 여러 차례 모델 호출이 발생하기 때문이다. 코히어는 최근 공식 뉴스룸에서 이 같은 주장을 담은 자료를 공개했다.
특히 검색증강생성(RAG)과 AI 에이전트를 적용하면 비용 구조는 더 복잡해진다. 긴 문맥을 입력하고 정확도를 높이기 위해 고성능 모델을 사용하거나 에이전트가 작업을 반복할수록 토큰 소비와 인프라 비용은 함께 늘어난다.
이에 코히어는 모델 사용료뿐 아니라 그래픽처리장치(GPU) 활용률과 처리량, 응답 속도, 저장장치, 네트워크, 보안 비용까지 포함해 AI 총소유비용을 계산해야 한다고 주장했다. 또 대규모 추론 환경에서 자체 인프라의 비용 경쟁력이 커질 수 있다는 근거도 함께 제시했다. 코히어가 공개한 레노버 자료에 따르면 높은 가동률을 유지할 경우 자체 H100 서버의 100만 토큰당 비용은 약 0.11달러로, 유사한 클라우드 인스턴스의 약 0.89달러와 프런티어 모델 API의 약 2달러보다 낮았다.
다만 장비를 지속적으로 가동한다는 전제가 붙어 수요가 적거나 변동성이 큰 기업은 API나 클라우드를 이용하는 편이 더 경제적일 수 있다. 코히어도 모든 AI 인프라를 직접 보유하기보다 학습과 실험, 단기 수요에는 클라우드를 활용하고 반복적인 추론 업무는 기업이 통제하는 환경에 배치하는 방식을 제안했다.
코히어는 "초기 실증이나 수요가 불규칙한 업무에는 API와 클라우드가 유리하지만, 상시 가동되는 대규모 추론 업무는 자체 인프라가 비용 예측과 통제 측면에서 유리할 수 있다"며 "중요한 것은 업체가 100만 토큰당 얼마를 청구하느냐가 아니라 AI를 운영하고 보호하며 확장하는 데 전체적으로 얼마가 드느냐는 것"이라고 밝혔다.
이처럼 코히어가 주장한 것은 글로벌 서비스형 소프트웨어(SaaS) 기업들이 추진하는 AI 확장 전략과 대비된다. 글로벌 고객관계관리(CRM) 기업들과 SAP, 서비스나우 등은 기존 애플리케이션의 데이터와 권한, 워크플로에 AI 에이전트를 결합해 고객이 별도 모델이나 인프라를 구축하지 않고도 업무를 자동화하도록 지원하고 있다.
현재 글로벌 CRM 기업들은 영업과 마케팅, 고객 서비스 데이터에 AI 에이전트를 연결하고 사용자 수나 실행량에 따라 비용을 부과하는 체계를 확대하고 있다. SAP는 재무와 인사, 구매, 공급망 등 기업 업무 전반에 AI 에이전트를 적용하고 있으며, 서비스나우도 IT와 고객 서비스, 인사 업무를 중심으로 에이전트 활용 범위를 넓히고 있다.
이들 기업의 전략은 AI 모델과 데이터, 업무 실행 환경을 하나로 묶어 도입 속도를 높이는 데 초점이 맞춰져 있다. 고객은 별도 인프라나 모델 운영 조직 없이 AI를 빠르게 적용할 수 있지만, 사용 범위가 넓어질수록 기존 SaaS 라이선스와 AI 기능 이용료, 에이전트 실행량, 데이터 플랫폼 비용을 함께 부담할 수 있다.
이처럼 AI 에이전트가 핵심 업무에 깊이 들어갈수록 비용 문제는 공급업체 통제권과도 연결된다. 특정 SaaS 플랫폼에 데이터와 업무 절차, 에이전트 실행 기능이 집중되면 가격 인상이나 과금 체계 변경에 대응하기 어려워지고 다른 플랫폼으로 이전하는 부담도 커질 수 있다.
관련기사
이에 코히어는 SaaS 중심의 AI 운영 구조에 프라이빗 AI와 기업 전용 배포를 대안으로 제시하고 있다. 오픈AI와 앤트로픽, 구글 등이 범용 프런티어 모델의 성능과 개발자 생태계를 앞세우는 데 비해 코히어는 기업이 모델 배포 환경과 데이터 흐름을 직접 통제할 수 있다는 점을 주요 경쟁력으로 내세웠다.
코히어는 "가장 중요한 AI 역량을 다른 회사의 모델과 칩, 데이터센터에 의존한 채 토큰 단위로 비용을 낸다면 그 역량을 소유한 것이 아니라 빌려 쓰는 것"이라고 밝혔다.
