[현장] LLM보다 20배 자원 쓰는 에이전틱 AI…레드햇 "해법은 추론 최적화"

"에이전틱 AI는 하나의 질문에도 모델을 여러 번 호출하며 일반 챗봇 대비 GPU 자원을 5배에서 최대 20배까지 더 소모하는 구조입니다. 기업이 이를 도입해 수익을 창출하려면 비용 통제와 성능 확보, 서비스 안정성을 동시에 달성할 수 있는 추론 최적화가 필수입니다."

이호진 레드햇 솔루션 아키텍트는 26일 서울 마곡 LG사이언스파크에서 열린 'LG CNS AI 테크 서밋 2026'에서 이같이 강조했다.

그는 '에이전틱 AI로의 진화와 추론 최적화 전략'을 주제로 발표하며, 생성형 AI를 넘어 에이전틱 AI 시대로 전환되는 흐름과 이에 따른 인프라 전략 변화를 짚었다.

이 아키텍트는 가트너와 IDC 리서치를 인용하며 올해 기업 애플리케이션 40%가 업무 특화 AI 에이전트를 탑재하거나 AI 에이전트와 함께 일하게 될 것이라고 설명했다.

단순 질의응답을 수행하는 생성형 AI에서 벗어나, 멀티스텝 업무 자동화와 워크플로우 판단·실행까지 수행하는 구조로 진화하고 있다는 분석이다.

문제는 자원 소모다. 에이전틱 AI는 하나의 요청에도 모델 호출과 도구 실행, 검색과 재시도를 반복한다. 그 결과 일반 챗봇 대비 GPU 자원이 5배에서 최대 20배까지 더 필요할 수 있다.

그는 "이 구조에서는 추론 비용이 급격히 증가할 수밖에 없다"며 "추론 최적화 없이 에이전틱 AI를 확장하는 것은 현실적으로 어렵다"고 말했다.

이어 추론의 개념과 운영 환경에서의 과제를 설명했다. 대규모언어모델(LLM) 추론은 입력을 토큰으로 변환하고 토큰 간 관계를 계산해 답변을 생성하는 과정이다. 현재 AI 시장의 예산과 컴퓨팅 중심이 학습에서 추론 영역으로 이동하고 있으며 상시 운영 환경에서는 성능과 비용 최적화의 효과가 더욱 크게 나타난다고 강조했다.

특히 엔터프라이즈 환경에서는 GPU 자원 효율화뿐 아니라 보안 검증, 모델 안정성 확보, 지연 편차 관리까지 함께 고려해야 한다고 짚었다.

레드햇은 이를 해결하기 위한 전략으로 가상대규모언어모델(vLLM), LLM 컴프레서, 검증된 모델 컬렉션, 대규모 분산 추론 기술(LLM-D)을 제시했다. vLLM은 고성능 모델 서빙 엔진으로, 신규 모델과 다양한 AI 가속기를 지속적으로 지원하며 업계 표준처럼 활용되고 있다고 설명했다.

LLM 컴프레서는 양자화를 통해 모델 크기와 GPU 메모리 사용량을 줄이면서도 정확도를 유지하는 기술이다. 실제 70B 모델을 GPU 8장에서 2장으로 줄이면서 99% 이상의 정확도를 확보한 사례도 소개했다.

또한 오픈시프트 기반으로 검증·최적화된 모델을 제공해 엔터프라이즈 AI의 품질과 안정성을 빠르게 확보할 수 있다고 밝혔다.

LLMD는 대규모 분산 추론을 지원하는 기술로 여러 서버에 모델을 분산 배치하고 라우팅과 로드밸런싱, KV 캐시 효율화를 통해 고성능과 비용 효율을 동시에 달성할 수 있도록 돕는다고 설명했다.

BC카드 사례도 공유했다. 초기에는 오라마 기반으로 최대 20건 요청을 처리했으나, vLLM 전환과 API 캐싱, 튜닝을 거치며 최대 25만건 요청을 처리하는 구조로 확장했다. 특히 LLM 컴프레서를 통한 양자화로 모델 크기를 절반으로 줄이고 성능은 3배 높이면서도 정확도 차이는 0.01% 수준에 그쳤다고 밝혔다.