[현장] 레드햇 "AI 운영 핵심은 추론 인프라…오픈소스 플랫폼 지원 확대"

레드햇 AI 플랫폼 전면에…추론 아키텍처·GPU 활용 중심 인프라 운영 전략 발표

레드햇이 기업의 인공지능(AI) 도입 확대에 맞춰 AI 추론 인프라와 하이브리드 클라우드 기반 플랫폼 지원을 강화한다. 그래픽처리장치(GPU) 활용 효율과 AI 운영 거버넌스를 동시에 확보하는 플랫폼 전략을 앞세워 AI 서비스 구축과 운영을 지원한다는 목표다.

최원영 한국레드햇 전무는 11일 양재 엘타워에서 열린 '레드햇 테크데이'에서 "기업이 AI 서비스를 운영하려면 추론 아키텍처와 GPU 활용 전략을 포함한 통합 플랫폼 접근이 필요하다"며 "오픈소스 기반 플랫폼 '레드햇 AI'를 통해 AI 도입·운영을 지속 지원할 것"이라고 강조했다.

이날 행사는 AI-레디 하이브리드 클라우드 플랫폼 구축 전략을 주제로 기업 AI 환경 구축을 위한 인프라와 플랫폼 전략을 공유하는 자리로 마련됐다. 행사에는 300여 명의 고객과 파트너가 참석했다.

최원영 한국레드햇 전무 (사진=지디넷코리아)

최 전무에 따르면 최근 생성형 AI와 멀티 에이전트 기반 서비스가 확산되면서 AI 모델의 실제 서비스 단계인 추론 영역의 중요성이 커지고 있다. AI 에이전트는 단순 질의응답을 넘어 계획 수립, 도구 호출, 결과 검증 등 여러 단계를 거치기에 연산량과 토큰 사용량이 크게 증가하는 추세다.

그는 "AI 에이전트 기반 서비스는 단순한 거대언어모델(LLM) 응답보다 훨씬 많은 추론 연산이 필요하다"며 "이 과정에서 GPU 자원을 얼마나 효율적으로 활용하느냐가 기업 AI 운영의 핵심 과제가 되고 있다"고 설명했다.

레드햇은 이를 지원하고자 '오픈시프트'를 중심으로 한 레드햇 AI 플랫폼 전략을 추진 중이다. 해당 플랫폼은 다양한 오픈소스 기반 AI 도구를 통합해 기업 환경에서 안정적으로 운영할 수 있도록 지원한다.

레드햇 AI 플랫폼은 ▲AI 엔터프라이즈 ▲오픈시프트 AI ▲엔터프라이즈 리눅스 AI ▲AI 인퍼런스 서버 등으로 구성된다. 특히 가상 거대언어모델(vLLM) 기반 AI 인퍼런스 서버를 통해 다양한 GPU와 가속기 환경에서 대규모 AI 모델을 효율적으로 운영할 수 있도록 지원한다.

또 GPU 자원을 여러 사용자와 서비스가 유연하게 공유할 수 있는 서비스형 GPU(GPUaaS) 구조도 제공한다. 기업이 보유한 GPU 자원을 보다 효율적으로 활용하고 AI 인프라 비용 부담을 줄인다는 목표다.

레드햇은 최근 글로벌 오픈소스 커뮤니티와 함께 엔비디아와 AMD GPU, 구글 텐서처리장치(TPU), 나아가 국내 AI 반도체 기업 리벨리온의 신경망처리장치(NPU) 등 다양한 AI 가속기에 대한 최적화도 진행 중이다.

AI 플랫폼 생태계 확대도 박차를 가한다. 레드햇은 엔비디아와 협력해 DGX 시스템에 AI 플랫폼을 통합하는 '레드햇 AI 팩토리 위드 엔비디아' 협력 모델을 지난달 발표했다. 현재 엔비디아 블랙웰 플랫폼과 통합됐으며 향후 차세대 루빈 플랫폼과의 연계도 추진할 계획이다.

레드햇 테크데이 행사 현장 (사진=지디넷코리아)

이날 행사에선 한전KDN이 레드햇 오픈시프트 기반 클라우드 네이티브 환경을 통해 전력 제어 시스템을 현대화하는 프로젝트 사례도 소개됐다. 한전KDN은 현재 10년 규모의 변전소 원격 감시·제어 시스템(SCADA) 개발 프로젝트를 진행 중이다. 기존 시스템 중심 구조에서 벗어나 유연성과 확장성을 갖춘 클라우드 플랫폼 기반으로 전환하는 것이 목적이다.

배선준 한전KDN 차장은 "전력 제어 시스템은 수많은 변전소에서 데이터를 수집하고 실시간으로 제어해야 하기에 안정성과 운영 효율성이 무엇보다 중요하다"며 "레드햇 오픈시프트 플랫폼을 통해 개발 자동화와 지속적 통합·배포(CI/CD) 체계를 구축하고 클라우드 네이티브 전환을 추진 중"이라고 밝혔다.

이어 "컨테이너 기반 환경으로 장애 발생 시 영향 범위를 격리하고 신속하게 대응할 수 있는 구조를 구축해 한국전력 제어 시스템을 고도화할 것"이라고 덧붙였다.

레드햇은 오픈소스 기반 플랫폼이 기업의 기존 IT 인프라와 AI 워크로드를 통합 운영하는 데 적합하다고 강조했다. 특히 하이브리드 클라우드 환경에서 애플리케이션과 AI 서비스를 단일 플랫폼 레드햇 AI에서 관리할 수 있다는 점을 주요 강점으로 내세웠다.

최 전무는 "AI도 기존 IT 환경과 마찬가지로 보안과 거버넌스를 함께 고려해야 한다"며 "기업이 기존 IT 운영 플랫폼 위에서 AI를 통합적으로 관리할 수 있도록 지원할 것"이라고 말했다.