레드햇-구글클라우드, 엔터프라이즈 AI 추론 강화 협력

젬마3·vLLM·A2A 공동 지원…하이브리드 클라우드서 대규모 AI 배포

레드햇이 구글클라우드와 협력을 확대해 인공지능(AI) 추론 성능을 높이고 대규모 배포를 지원하는 환경을 구축한다.

레드햇과 구글클라우드는 레드햇의 오픈소스 기술과 구글클라우드의 맞춤형 인프라 ·구글의 개방형 모델 제품군 '젬마'를 결합해 엔터프라이즈 애플리케이션용 AI를 향상하기 위한 협력을 확대한다고 29일 밝혔다.

레드햇은 구글의 젬마 모델과 가상거대언어모델(vLLM)을 결합해 AI 추론 효율을 높일 방침이다. 대규모언어모델분산(llm-d) 프로젝트 론칭·에이전트투에이전트(A2A) 프로토콜 참여로 에이전틱 AI 확장을 도모할 계획이다.

레드햇이 구글클라우드와 협력을 확대해 인공지능(AI) 추론 성능을 높이고 대규모 배포를 지원하는 환경을 구축한다. (사진=레드햇)

레드햇은 젬마3 배포판에서 vLLM의 0일차 지원을 제공해 생성형 AI 애플리케이션의 출력 속도를 높인다. vLLM은 오픈소스 추론 서버로 빠르고 비용 효율적인 AI 플랫폼을 제공해 엔터프라이즈 고객의 반응성을 강화한다.

구글클라우드 텐서처리장치(TPU) 및 그래픽처리장치(GPU) 기반 가상머신에서 vLLM 사용이 가능해지면서 개발자는 성능과 효율성을 극대화할 수 있다. 또 레드햇은 llm-d 오픈소스 프로젝트를 통해 이기종 리소스 전반에서 AI 추론의 확장성·비용 최적화·워크로드 효율성을 개선한다.

레드햇 AI 인퍼런스 서버는 구글 클라우드 상에서 최신 커뮤니티 개선 사항을 반영해 기업용 모델 추론 최적화를 지원한다. 이를 통해 기업은 신뢰할 수 있는 인프라에서 대규모 AI 모델을 빠르고 안정적으로 배포할 수 있게 된다.

레드햇 브라이언 스티븐스 AI 부문 수석 부사장 겸 최고기술책임자는 "이번 협력 확대를 통해 획기적 AI 혁신을 주도할 것"이라며 "vLLM과 오픈소스 기술로 개발자는 최적화된 추론 기반의 고성능 AI 솔루션을 구축할 리소스를 확보할 수 있다"고 밝혔다.

구글클라우드 마크 로마이어 AI 및 컴퓨팅 인프라 부문 부사장 겸 총괄은 "이번 협력은 AI 잠재력을 고객에게 제공한다는 양사 비전의 결과"라며 "조직이 AI 추론을 효과적으로 확장하고 고성능 에이전틱 AI를 구현할 길을 열었다"고 말했다.