레드햇이 제시한 엔터프라이즈 AI 전환 핵심은?

추론 효율화·모델 커스터마이징·에이전틱 AI·하이브리드 클라우드 소개

레드햇이 기업 인공지능(AI) 전환을 지원하기 위한 엔터프라이즈 AI 플랫폼 전략을 제시했다.

이명진 한국레드햇 상무는 17일 지디넷코리아가 개최한 '컨버전스 인사이트 서밋(CIS) 2026'에서 '레드햇 AI 기반 엔터프라이즈 AI 플랫폼으로의 전환: ML옵스에서 에이전틱 AI까지'를 주제로 발표한다. 

현재 기업은 ML옵스에서 LLM옵스, 에이전틱 AI로 이어지는 진화 과정 속에서 추론 효율성, 데이터 연결, 에이전트 관리, 하이브리드 클라우드 확장까지 전체 라이프사이클을 관리할 수 있는 통합 플랫폼이 필요한 실정이다. 

레드햇이 기업 인공지능(AI) 전환을 지원하기 위한 엔터프라이즈 AI 플랫폼 전략을 제시했다. (사진=레드햇)

또 생성형 AI가 기업 업무 환경의 핵심 요소로 자리 잡으면서 엔터프라이즈 AI 플랫폼도 빠르게 진화하고 있다. 초기 ML 운영 체계인 ML옵스에서 거대언어모델(LLM) 기반 LLM옵스를 거쳐 여러 AI 에이전트가 협업하며 복잡한 문제를 자율적으로 해결하는 에이전틱옵스 단계로 확장되고 있다.

레드햇 AI는 이러한 변화에 맞춰 기업이 AI 추론, 모델 커스터마이징, 데이터 연결, 에이전트 운영, 하이브리드 클라우드 확장을 통합적으로 관리할 수 있도록 지원한다.

레드햇 AI의 주요 기능 중 하나는 AI 추론 역량이다. 레드햇은 오픈소스 추론 엔진 vLLM과 분산 추론 프레임워크 llm-d를 통해 그래픽처리장치(GPU) 등 다양한 하드웨어 가속기 환경에서 비용 효율적인 AI 추론을 지원한다.

llm-d는 인프라 비용을 낮추고 멀티턴 대화, 에이전트 워크플로에서 더 빠른 응답 시간을 제공하도록 설계됐다. 이를 통해 플랫폼 관리자는 AI 추론 환경을 보다 쉽게 운영할 수 있다.

허깅페이스의 레드햇 AI 레포지토리에서는 라마, 큐원, 딥시크, 그래니트 등 주요 오픈소스 모델이 검증 및 최적화된 형태로 제공된다. 기업은 이를 활용해 다양한 업무 환경에 맞는 AI 모델을 보다 안정적으로 적용할 수 있다.

레드햇은 기업 데이터와 AI 모델을 연결하는 방안도 소개했다. 이 상무는 전체 기업 데이터 중 파운데이션 모델에 반영된 것은 1% 미만에 불과하다며 기업 내부 데이터를 기반으로 AI를 맞춤화해야 한다고 강조했다.

레드햇은 이를 위해 파인튜닝, 프롬프트 엔지니어링, 검색증강생성(RAG) 등 다양한 커스터마이징 기법과 합성 데이터 생성 파이프라인을 제공한다. 이를 통해 기업은 자체 데이터와 업무 맥락을 AI에 반영하고 AI 내재화를 보다 효율적으로 추진할 수 있다.

에이전틱 AI 혁신을 위한 운영 기반도 제공한다. 레드햇은 AI 에이전트 워크플로의 개발과 배포를 지원하고 MCP 게이트웨이와 에이전트 라이프사이클 관리, 추적 및 관측 가능성 기능을 통해 복수의 AI 에이전트가 협업하는 환경에서도 안정적인 운영을 지원한다.

이 상무는 "기업의 AI 전환은 단순히 AI 모델 하나를 도입하는 것으로 완성되지 않는다"며 "ML옵스에서 LLM옵스, 그리고 에이전틱 AI로 이어지는 진화의 흐름 속에서 기업은 추론 효율성, 데이터 연결, 에이전트 관리, 하이브리드 클라우드 확장까지 전체 라이프사이클을 아우를 수 있는 통합 플랫폼이 필요하다"고 밝혔다.