AI 싸져도 기업 부담은 그대로…가트너 "토큰 샤용량 증가 때문"

카트너 "2030년 LLM 추론 단가 90%↓…기업, 토큰 사용 최대 30배 증가"

인공지능(AI) 모델 추론 비용이 낮아져도 기업 부담까지 쉽게 줄어들지 않을 것이라는 전망이 나왔다.

30일 가트너가 공개한 분석 결과에 따르면 2030년까지 1조 파라미터 규모 AI 모델 추론 비용은 2025년 대비 90% 이상 감소할 것으로 나타났다. 동일 규모 모델 기준 비용 효율성은 2022년 대비 최대 100배 개선될 것이으로 분석횄다.

이런 변화는 반도체 성능 개선과 모델 설계 발전, 추론 특화 칩 확대, 엣지 디바이스 활용 증가 등에 따른 결과라는 평가가 이어지고 있다. 가트너는 최첨단 반도체를 사용하는 프런티어 시나리오와 기존 반도체를 혼합 사용하는 시나리오를 비교했다. 그 결과 혼합 방식은 비용 부담이 더 큰 것으로 나타났다.

가트너가 전망한 생성형 AI 추론 비용 시나리오 전망. (사진=가트너)

가트너는 토큰 단가 하락이 곧바로 기업 비용 절감으로 이어지지는 않을 것으로 봤다. AI 에이전트 확산으로 작업당 토큰 사용량이 기존 대비 5배에서 최대 30배까지 늘어나 전체 추론 비용은 오히려 증가할 가능성이 크다는 분석이다. 

특히 고급 추론 기능은 더 많은 연산 자원을 요구하는 구조로 알려졌다. 이에 기본 AI 기능은 저렴해지지만 고성능 추론을 위한 인프라와 시스템은 여전히 제한된 자원으로 남을 것이란 설명이다. 

가트너는 기업 AI 경쟁력이 단일 모델이 아닌 멀티 모델 오케스트레이션 전략에 달릴 것으로 봤다. 반복 업무는 소형 모델이나 도메인 특화 모델로 처리하고, 복잡한 작업에만 고비용 프런티어 모델을 선택적으로 활용해야 한다는 의미다.

윌 소머 가트너 시니어 디렉터 애널리스트는 "기업은 범용 토큰 가격 하락을 고급 추론 역량 대중화로 오해해서는 안 된다"며 "현재 저렴한 토큰 비용으로 아키텍처 비효율을 가리는 기업은 향후 에이전트 기반 AI 확장 단계에서 한계에 직면하게 될 것"이라고 밝혔다.