"코드 수정 없이 최대 4배"…클라우데라, 엔비디아 손잡고 AI 데이터 비용 낮춘다

[싱가포르=장유미 기자] 클라우데라가 엔비디아와 손잡고 아파치 스파크 기반 데이터 처리 속도를 끌어올린다. 기업들이 인공지능(AI) 활용을 확대하면서 데이터 준비와 인프라 비용 부담이 커지자 기존 코드를 바꾸지 않고도 그래픽처리장치(GPU) 가속을 적용할 수 있도록 해 AI 데이터 파이프라인 효율을 높인다는 전략이다.

클라우데라는 20일(현지시간) 싱가포르 마리나 베이 샌즈 컨벤션 센터에서 열린 연례 데이터·AI 컨퍼런스 '이볼브26 싱가포르(EVOLVE26 Singapore)'에서 클라우데라 데이터 엔지니어링에 엔비디아 쿠다-X(CUDA-X) 라이브러리 'cuDF' 기반 아파치 스파크 4.1용 네이티브 GPU 가속 기능을 도입한다고 발표했다.

이 기능은 이날부터 클라우데라 데이터 엔지니어링에서 제공된다. 향후 '클라우데라 애니웨어 클라우드'에도 적용해 퍼블릭·프라이빗·소버린 클라우드와 온프레미스 등 하이브리드 환경 전반으로 활용 범위를 넓힐 계획이다.

이에 따라 기업 고객은 기존 파이스파크(PySpark)나 SQL 쿼리를 수정하지 않고도 스파크 워크로드에 GPU 가속을 적용할 수 있다. 또 별도의 드라이버 설정이나 운영 워크플로우 변경 없이 기존 애플리케이션을 그대로 활용할 수 있도록 한 것도 특징이다.

클라우데라는 "엔비디아 GPU를 활용할 경우 기존 CPU 인프라 대비 스파크 워크로드 처리 속도를 최대 4배까지 높일 수 있다"며 "처리 시간이 짧아지는 만큼 클라우드 컴퓨팅 사용량도 줄어 인프라 비용 절감 효과를 기대할 수 있다"고 설명했다.

20일(현지시간) 싱가포르 마리나베이샌즈에서 개최된 '클라우데라 이볼브26' 전경 (사진=지디넷코리아)

클라우데라는 이번 GPU 가속 기능을 통해 AI 학습과 추론에 앞선 데이터 처리 시간을 줄인다는 계획이다. 대규모 데이터를 추출·정제·변환하는 ETL 과정에서 스파크 작업이 길어질수록 인프라 사용량과 비용도 함께 늘어나는 만큼, GPU를 활용해 처리 효율을 높이겠다는 전략이다.

레오 브루닉 클라우데라 최고제품책임자(CPO)는 "많은 기업에서 AI의 걸림돌은 모델이 아니다"며 "원시 데이터를 얼마나 빠르게 신뢰할 수 있고 활용 가능한 인사이트로 전환할 수 있느냐에 있다"고 말했다.

이번 기능은 최근 공개한 '클라우데라 애니웨어 클라우드'에서도 지원될 예정이다. 퍼블릭 클라우드뿐 아니라 프라이빗 클라우드와 소버린 클라우드, 온프레미스에서도 동일한 방식으로 스파크 워크로드를 가속할 수 있도록 한다는 계획이다.

클라우데라는 이 과정에서 통합 데이터 패브릭을 활용해 각 환경의 데이터와 워크로드에 동일한 보안·거버넌스 정책을 적용한다. 기업이 GPU 가속을 위해 데이터를 특정 클라우드로 옮기거나 기존 관리 체계를 새로 구축하지 않아도 되도록 한 것이다.

팻 리 엔비디아 전략적 기업 파트너십 부사장은 "AI 도입을 가속하는 가장 빠른 방법은 기업이 현재 운영하고 있는 방식에 맞추는 것"이라며 "엔비디아 AI 인프라와 쿠다-X 라이브러리가 클라우데라 데이터 엔지니어링에 네이티브로 통합되면서 기업은 파이스파크나 SQL 코드를 한 줄도 수정하지 않고 스파크 파이프라인의 비용을 줄이고 속도를 높일 수 있다"고 강조했다.

클라우데라는 AI 인프라 비용 증가도 이번 기능 도입의 배경으로 제시했다. 이 회사가 최근 공개한 'AI 아키텍처 대전환(The Great AI Re-Architecture)' 보고서에 따르면 응답자의 84%가 AI 워크로드로 인해 인프라 비용이 증가했다고 답했다.