"반복 프롬프트 자동화"…구글, 제미나이 API 비용 부담↓

'제미나이 2.5 프로·플레시'에 탑재…영어 기준 1천500단어 이상 필요

구글이 개발자의 모델 사용료 부담을 줄이기 위해 인공지능(AI) API 운영 방침을 바꿨다.

9일 테크크런치 등 외신에 따르면 구글은 '제미나이 2.5 프로'와 '제미나이 2.5 플레시' 모델에 '암시적 캐싱' 기능을 기본 탑재했다고 밝혔다. 

암시적 캐싱은 개발자가 별도 지시하거나 설정하지 않아도 모델이 반복된 프롬프트나 요청을 인식해서 이전 결과를 재활용하는 기능을 의미한다. 명령어가 이전 요청과 접두어가 일치하면 캐시 자동화가 가능하다. 

구글이 개발자의 모델 사용료 부담을 줄이기 위해 인공지능(AI) API 운영 방침을 바꿨다. (사진=구글)

개발자가 암시적 캐싱을 활용하려면 제미나이 2.5 플시 모델에선 최소 1천24토큰, 프로 모델에선 2천48토큰 이상 입력을 해야 한다. 영어 기준으로 750~1천500단어 수준이다. 

구글은 "반복되는 프롬프트나 컨텍스트는 요청 앞부분에 두고, 변동 가능성 큰 내용은 뒷부분에 두는 것이 암시적 캐싱 효과와 효율성을 높일 수 있다"며 "개발자는 캐싱 자동화를 통해 기존보다 모델 사용료를 줄일 수 있다"고 밝혔다.

기존 캐싱은 사용자가 자주 사용하는 프롬프트를 직접 지정해야만 했다. 이에 일부 개발자들은 캐싱 효율성이 낮아 API 청구 비용이 부담스럽다고 불만을 제기한 바 있다. 이에 구글 제미나이팀은 시스템 개선을 약속했다. 

다만 외신은 암시적 캐싱이 외부 검증을 거치지 않았다고 지적했다. 실질적인 비용 절감 효과는 사용자 반응을 통해 확인될 수 있을 것이라고 평가했다.

테크크런치는 "구글의 모델 사용료 절감 약속을 위한 시스템 정책 변화를 신중히 지켜봐야 한다"고 언급했다.