'레드햇 오픈시프트 AI' 업데이트, 엣지로 AI 모델 배포 지원

레드햇은 개방형 하이브리드 인공지능(AI) 및 머신러닝(ML) 플랫폼인 ‘레드햇 오픈시프트 AI’의 업데이트 내용을 8일 발표했다.

레드햇 오픈시프트 AI는 기업이 하이브리드 클라우드 전반에 걸쳐 AI 지원 애플리케이션을 대규모로 생성하고 제공할 수 있도록 돕는다. 이번 업데이트는 기본 하드웨어부터 주피터나 파이토치와 같이 플랫폼 구축에 사용되는 서비스 및 도구에 이르기까지 지능형 워크로드에 대한 고객의 선택권을 보장하고자 하는 레드햇의 AI 비전을 강조한다.

레드햇의 AI 전략은 하이브리드 클라우드 전반에서 유연성을 지원하고, 고객 데이터로 사전 학습되거나 선별된 파운데이션 모델을 강화할 수 있는 기능 및 다양한 하드웨어·소프트웨어 가속기를 자유롭게 사용할 수 있는 기능을 제공한다. 새롭게 업데이트된 레드햇 오픈시프트 AI는 최신 AI·ML 혁신에 대한 액세스와 AI 중심의 광범위한 파트너 에코시스템 지원을 통해 이러한 요구 사항을 충족한다.

최신 버전인 레드햇 오픈시프트 AI 2.9는 엣지에서의 모델 서빙 기능을 제공한다. 엣지에서의 모델 서빙은 단일 노드 오픈시프트를 통해 AI 모델 배포를 원격으로 확장한다. 이는 외부와 연결이 끊겼거나(air-gapped) 간헐적(intermittent)인 네트워크 액세스 등 리소스의 제약이 있는 환경에 추론 기능을 제공한다. 이 기술 프리뷰는 조직에 코어부터 클라우드, 엣지에 이르기까지 확장 가능하고 일관된 운영 환경을 제공하며, 즉시 사용 가능한 통합 가시성을 포함한다.

향상된 모델 서빙 기능은 여러 모델 서버를 사용해 예측형 및 생성형 AI를 모두 지원할 수 있게 한다. 지원되는 내용으로는 모든 유형의 모델에 대한 서빙을 오케스트레이션하는 쿠버네티스 커스텀 리소스 정의인 K서브, vLLM 및 텍스트 생성 추론 서버(TGIS), LLM용 서빙 엔진, 자연어 처리(NLP) 모델과 작업을 다루는 Caikit-nlp-tgis 런타임 등이 포함된다. 향상된 모델 서빙을 통해 사용자는 단일 플랫폼에서 여러 사용 사례를 위한 예측형 및 생성형 AI 실행이 가능해, 비용을 절감하고 운영을 간소화할 수 있다. 이는 즉시 사용할 수 있는 모델 서비스를 LLM에 제공하고 주변 사용자 워크플로우 또한 간소화한다.

더 빠르고 효율적인 데이터 처리와 모델 학습을 위해 여러 클러스터 노드를 사용하는 코드플레어와 큐브레이를 통해 레이로 워크로드를 분산한다. 레이는 AI 워크로드 가속화를 위한 프레임워크이며, 큐브레이는 쿠버네티스에서 이러한 워크로드 관리를 돕는다. 코드플레어는 레드햇 오픈시프트 AI의 분산 워크로드 기능의 핵심으로, 작업 오케스트레이션 및 모니터링 간소화에 도움이 되는 사용자 친화적인 프레임워크를 제공한다. 또한 중앙 큐잉 및 관리 기능으로 최적의 노드 활용이 가능하고 GPU와 같은 리소스를 적절한 사용자 및 워크로드에 할당할 수 있다.

프로젝트 작업 공간과 추가 워크벤치 이미지를 통해 모델 개발을 개선해, 데이터 과학자가 다양한 사용 사례와 모델 유형에 대해 현재 기술 프리뷰로 제공되는 VS Code 및 RStudio, 향상된 CUDA를 포함한 IDE와 툴킷을 유연하게 사용할 수 있도록 한다.

성능 및 운영 메트릭에 대한 모델 모니터링을 시각화하여 AI 모델의 성능에 대한 가시성을 개선한다. 관리자가 모델 개발 및 모델 제공 워크플로우에 사용 가능한 다양한 유형의 하드웨어 가속기를 구성할 수 있도록 새로운 가속기 프로필이 추가됐다. 사용자는 이를 통해 특정 워크로드에 적합한 가속기 유형에 셀프서비스 방식으로 간단히 접근할 수 있다.

현재 IBM의 왓슨x.ai뿐 아니라 AGESIC과 오텍 파이낸스 등 다양한 산업 분야의 기업이 더욱 큰 AI 혁신과 성장을 추진하기 위해 레드햇 오픈시프트 AI를 도입하고 있다. 또한 다양한 파트너들과 협업을 통해 에코시스템을 확장하고 있다.

레드햇은 레드햇 오픈시프트 AI에서의 엔터프라이즈 AI 활용 강화를 위해 인텔과 협력한다고 발표했다. 양사는 가우디 AI 가속기, 제온 프로세서, 코어 울트라 및 코어 프로세서, 아크 GPU 등의 인텔 AI 제품에서 하이브리드 클라우드 인프라 전반에 걸친 모델 개발·교육, 제공, 관리, 관리·모니터링을 위한 엔드투엔드 AI 솔루션을 제공할 예정이다. 레드햇 오픈시프트 AI는 인텔의 AI 제품에 대한 일관된 지원을 제공해 조직이 다양한 환경에서 AI 애플리케이션을 원활히 배포할 수 있도록 지원한다. 양사는 이번 협력을 통해 데이터 센터에서 엣지까지 유연하고 탄력적인 AI 솔루션을 제공해 상호 운용성을 보장하고 확장 가능한 소프트웨어 제품을 통해 AI 혁신을 가속화할 예정이다.

AI 워크로드의 구축, 배포, 관리에 대한 고객 선택권 확대를 위한 AMD의 협력도 발표했다. 레드햇과 AMD는 AMD GPU를 레드햇 오픈시프트 AI에 통합함으로써 AI 아키텍처에 더 큰 선택권과 유연성을 제공하고 AI 워크로드를 채택하는 기업의 진입 장벽을 낮춰 엔터프라이즈 AI 역량을 강화할 계획이다. 양사는 레드햇 오픈시프트 AI에서 AMD GPU 오퍼레이터를 지원해 AI 워크플로우의 간소화, 인프라 격차 해소, 지능형 애플리케이션의 시장 배포 가속화를 돕고, AMD 인스팅트 가속기에서 레드햇 오픈 하이브리드 클라우드 기술을 지원해 AI 혁신을 더욱 촉진하고 고객에게 향상된 GPU 리소스 선택권을 제공할 예정이다.