레드햇, AWS 협업 확대…"AI 추론 성능·유연성 강화"

레드햇이 엔터프라이즈급 생성형 인공지능(AI) 기능을 강화하기 위해 아마존웹서비스(AWS)와 협업을 확대했다.

레드햇은 레드햇 AI와 AWS AI 실리콘을 결합해 프로덕션 환경에서의 생성형 AI 배포 유연성을 높인다고 3일 밝혔다.

이번 협업은 레드햇 플랫폼과 AWS 클라우드 인프라, AWS 인퍼런시아2와 트레이니움3을 결합해 전방위적 생성형 AI 전략 구현을 골자로 한다. 레드햇은 이를 통해 모든 세대의 생성형 AI 모델을 지원하는 공통 추론 레이어를 제공하며, 그래픽처리장치(GPU) 기반 아마존 EC2 대비 최대 30~40% 향상된 가격 대비 성능을 실현할 수 있다고 설명했다.

레드햇이 엔터프라이즈급 생성형 인공지능(AI) 기능을 강화하기 위해 아마존웹서비스(AWS)와 협업을 확대했다. (사진=레드햇)

'레드햇 AI 인퍼런스 서버'는 AWS 인퍼런시아2와 트레이니움3을 비롯한 AWS AI 칩에서 실행되도록 확장된다. 기업은 더 낮은 지연 시간과 비용으로 AI 배포 규모를 확대할 수 있고, 다양한 추론 워크로드를 단일 추론 레이어에서 통합 운영할 수 있다.

양사는 레드햇 오픈시프트 AI, 레드햇 오픈시프트 서비스 온 AWS에 적용되는 'AWS 뉴런 오퍼레이터'도 개발했다. 이를 통해 고객은 AWS 가속기를 자연스럽고 지원되는 방식으로 연동해, AI 학습·추론 워크로드를 더 쉽게 운영할 수 있다.

레드햇은 AWS AI 칩 지원을 통해 AWS 환경의 레드햇 고객이 대규모 가속기에 보다 손쉽게 접근할 수 있도록 지원할 계획이다. 또 레드햇 앤서블 오토메이션 플랫폼을 위한 '아마존.ai 인증 앤서블 컬렉션'을 제공해 AWS 기반 AI 서비스 자동화를 강화했다.

커뮤니티 차원의 협력도 포함된다. 레드햇과 AWS는 가상거대언어모델(vLLM)에 업스트림된 AWS AI 칩 플러그인을 최적화하고 있으며, 레드햇은 vLLM의 최대 상업적 기여자로서 AWS 환경에서 vLLM 기반 추론·학습을 가속하는 데 기여하고 있다. 이는 레드햇 오픈시프트 AI 3에서 상업적으로 제공되는 기능으로 이어진다.

레드햇은 데이터센터에서 엣지 환경에 이르기까지 AWS와의 장기 협력을 바탕으로 하이브리드 클라우드에서의 AI 통합 요구를 지원해 왔다. 이번 협업 확대는 조직이 생성형 AI의 성능·효율·운영 비용을 균형 있게 확보하도록 돕는 것이 핵심 목표다.

AWS 뉴런 커뮤니티 오퍼레이터는 레드햇 오픈시프트 오퍼레이터허브에서 바로 이용할 수 있다. AWS AI 칩 기반 레드햇 AI 인퍼런스 서버는 내년 1월 개발자 프리뷰로 제공될 예정이다.