클라우데라, 배스트데이터와 기업용 'AI 팩토리' 구축…GPU 병목 해소

하이브리드 환경 통합 AI 플랫폼 제공…엔비디아 AI 데이터 플랫폼 기반 협력

클라우데라가 배스트데이터와 함께 기업용 인공지능(AI) 팩토리 시장 공략에 나선다. 양사 데이터 플랫폼과 그래픽처리장치(GPU) 최적화 스토리지를 결합해 데이터 병목 현상을 해소하고 하이브리드 환경 전반에서 AI 학습·추론을 지원하는 통합 AI 인프라를 제공한다는 구상이다.

클라우데라는 배스트데이터와 전략적 파트너십을 체결하고 통합형 AI 팩토리 솔루션을 공동 제공한다고 15일 밝혔다.

AI 팩토리는 데이터 수집부터 정제·관리, AI 모델 학습과 추론까지 단일 운영 체계에서 수행하는 확장형 AI 운영 환경이다. 양사는 온프레미스 데이터센터와 퍼블릭 클라우드 등 하이브리드 환경 어디서나 구축 가능한 AI 인프라를 함께 제공할 방침이다.

(사진=클라우데라)

이번 협력은 클라우데라의 레이크하우스 데이터 서비스와 배스트데이터의 GPU 최적화 스토리지 및 AI 운영체제를 결합하는 것이 특징이다. 기업이 보유한 데이터를 AI 활용이 가능한 'AI 레디 데이터'로 전환하고 데이터 엔지니어링부터 분석, 머신러닝, 생성형 AI까지 하나의 플랫폼에서 지원한다는 목표다.

양사는 엔비디아 AI 데이터 플랫폼 레퍼런스 디자인을 기반으로 데이터 플랫폼을 구축할 예정이다. 배스트데이터의 AI 운영체제는 GPU 가속 벡터 데이터베이스와 고성능 스토리지, 글로벌 네임스페이스 기능을 제공하고 클라우데라는 데이터 엔지니어링과 거버넌스, AI 서비스를 담당한다.

기업들이 생성형 AI와 에이전틱 AI를 확대하는 과정에서 걸림돌로 꼽히는 GPU 병목 현상도 해결 대상으로 제시했다. GPU 클러스터가 데이터 공급 지연으로 충분히 활용되지 못하는 문제를 초고대역폭·저지연 데이터 파이프라인으로 개선해 GPU 가동률과 투자 대비 수익(ROI)을 높인다는 설명이다.

또 정형·비정형·멀티모달 데이터를 아우르는 대규모 스토리지와 데이터센터, 프라이빗 클라우드, 퍼블릭 클라우드 전반의 일관된 운영 환경을 제공할 계획이다. 원시 데이터 수집부터 모델 배포까지 단일 AI 팩토리 아키텍처를 지원해 기업이 단순 실험 단계를 넘어 실제 운영 환경의 AI 시스템을 구축할 수 있도록 돕는다는 방침이다.

아바스 리키 클라우데라 최고사업책임자(CBO) 겸 응용 AI 부문 총괄은 "기업들이 GPU에 수십억 달러를 투자하고 있지만, 데이터 병목으로 인해 충분한 가동률을 확보하지 못하는 경우가 많다"며 "이번 파트너십을 통해 GPU 병목 현상을 해소하고 데이터 수집부터 인사이트 도출까지 데이터가 원활하게 흐르는 진정한 AI 팩토리를 구현할 수 있도록 지원할 것"이라고 강조했다.

양사는 엔비디아 AI 인프라와 엔비디아 AI 엔터프라이즈 소프트웨어, 배스트데이터 AI 운영체제, 클라우데라의 데이터·AI 서비스를 결합해 프라이빗 AI와 소버린 AI 환경에 최적화된 AI 팩토리도 제공할 계획이다.

클라우데라 AI 인퍼런스 서비스는 엔비디아 NIM 마이크로서비스를 활용해 최신 AI 모델을 데이터가 있는 환경에서 직접 배포·운영할 수 있도록 지원한다.

아울러 엔비디아 cuDF를 활용해 아파치 스파크 기반 데이터 처리도 GPU로 가속한다. 이를 통해 데이터 엔지니어링 워크로드 성능을 높이고 AI 워크로드 최적화를 지원할 예정이다. 규제가 엄격한 산업에서도 프로덕션급 AI 시스템을 구축할 수 있는 통합 환경을 제공할 계획이다.

클라우데라는 이번 협력을 통해 약 60엑사바이트 규모 고객 데이터를 기반으로 새로운 사업 기회를 확보할 것으로 보고 있다. 프라이빗 AI 인프라 수요 확대와 함께 AI 팩토리 시장에서도 성장 기반을 마련한다는 구상이다.

제프 덴워스 배스트데이터 공동창업자는 "기업 대부분은 이미 AI에 필요한 데이터를 보유하고 있지만, 관건은 데이터 가치를 끌어내 AI 추론·파인튜닝·데이터 분석으로 이어지는 지속적인 파이프라인을 구축해 차세대 지능형 애플리케이션을 만드는 것"이라며 "양사는 고객이 데이터·인텔리전스·인프라를 하이브리드 환경 전반의 단일 AI 운영 플랫폼으로 연결하는 AI 팩토리를 구축할 수 있도록 지원하겠다"고 말했다.

최승철 클라우데라코리아 지사장은 "최근 데이터 준비 설문조사에 따르면 국내 기업의 56%가 인프라 제약을 겪고 있어 데이터 기반 이니셔티브가 저해되고 있다"며 "데이터 품질과 통합 부족도 AI 도입 확장과 ROI 극대화의 걸림돌로 작용하고 있는 상황"이라고 설명했다.

이어 "AI에 데이터를 막힘 없이 공급할 수 있는지가 관건이 되고 있다"며 "이번 파트너십을 통해 국내 고객사는 GPU 자원을 최대한 활용하고 AI 투자의 실질적인 성과를 거둘 수 있을 것"이라고 덧붙였다.