GPT보다 싸다던 클로드, 총비용 30% 더 높아

앤트로픽, 같은 문장도 더 작게 나눠

앤트로픽이 오픈AI보다 40% 낮은 모델 사용료를 책정했지만 전체 비용은 더 높은 것으로 나타났다. 기업이 인공지능(AI) 모델 도입 시 '숨겨진 비용'을 고려해야 한다는 지적이다.

4일 벤처비트 등에 따르면 동일한 문장에 대해 앤트로픽의 '클로드 3.5 소네트'이 생성하는 토큰 수가 GPT-4o보다 더 많아 약 20~30% 더 높은 사용 비용이 드는 것으로 나타났다. 

토큰은 사람이 쓴 문장을 AI가 이해할 수 있는 단위다. AI는 토크나이저라는 도구를 활용해 사람의 문장을 파악한다.

클로드 3.5 소네트가 GPT-4o보다 입력 토큰 단가는 40% 저렴하지만 토크나이저 비효율성 때문에 전체적으로 비용이 더 든다는 것이다.

즉, 앤트로픽이 토크나이저 비효율성이 오픈AI보다 큰 것이다. 클로드의 토크나이저는 오픈AI의 토크나이저보다 문장을 더 작게 나눠 더 많은 토큰을 만드는 셈이다.

앤트로픽이 오픈AI보다 40% 낮은 모델 사용료를 책정했지만 전체 비용은 더 높은 것으로 나타났다. (사진=챗GPT)

예를 들어 '안녕하세요 여러분'이라는 문장을 GPT의 토크나이저는 2개 토큰으로, 클로드의 토크나이저는 4개 토큰으로 나눌 수 있다. 어떤 토크나이저를 활용하느냐에 따라 같은 문장이 더 많이 쪼개질 수 있으며 그만큼 비용 차이도 크다. 

기술적이거나 구조화된 문장일수록 두 모델 토큰 수 차이는 더 벌어진 것으로 나타났다. 일반 영어 기사에서는 클로드가 GPT보다 약 16% 더 많은 토큰을 생성했고, 수학 공식은 21%, 파이썬 코드는 30%나 많았다.

입력 토큰 수가 많아지면 비용이 늘어날 뿐 아니라 한 번에 처리할 수 있는 정보 양도 줄어든다. 이에 클로드는 최대 20만 토큰을 지원하지만, 토큰이 많이 쪼개지는 특성 때문에 GPT가 제공하는 12만8천 토큰보다 덜 효율적일 수 있다는 해석도 나왔다.

외신은 앤트로픽이 비공개 형태 토크나이저를 활용한다는 점도 지적했다. 오픈AI는 BPE 방식의 오픈소스 토크나이저를 사용해 작동 방식이 공개돼 있다. 반면 앤트로픽은 6만5천 개 토큰만을 쓰는 자체 토크나이저를 활용하고 있다. 해당 코트나이저의 세부 구조는 외부에 공개되지 않았다.

벤처비트는 "AI 기업들이 토크나이저 동작 원리를 정확히 파악하지 못하면 AI 모델 예산을 예측하거나 사전 견적을 내기 어렵다"며 "대규모 API 사용이 필요한 기업일수록 이 변수는 중요한 비용 리스크가 될 것"이라고 지적했다.