데이터브릭스, 엔비디아와 협력 강화

데이터브릭스는 엔비디아와 협력을 확대하고, 데이터 및 AI 워크로드를 최적화하기 위해 자사 데이터 인텔리전스 플랫폼에 엔비디아 쿠다 가속 컴퓨팅을 도입한다고 17일 발표했다.

이 내용은 데이터브릭스가 미국 샌프란시스코에서 10일부터 13일까지 개최한 데이터 + AI 서밋에서 공유됐다. 기업 데이터를 생성 AI 애플리케이션에 사용하기 위해서는 데이터 준비, 큐레이션 및 처리 워크로드가 필수적으로 요구되는데, 이에 양사는 최신 AI 팩토리를 위한 AI 개발 파이프라인의 효율성, 정확성 및 성능을 향상하기 위해 협력한다는 계획이다. 데이터브릭스는 자사 데이터 인텔리전스 플랫폼에 엔비디아 GPU 가속을 위한 기본 지원을 추가할 예정이다.

데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본 지원을 개발할 계획이다. 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 향상한다.

알리 고드시 데이터브릭스 공동창립자 겸 CEO

포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다. 데이터브릭스와 엔비디아는 이번 협업으로 가격 대비 성능의 수준을 한 단계 끌어 올린다는 계획이다.

엔비디아는 이달 초 개최된 컴퓨텍스에서 데이터브릭스의 오픈소스 모델인 DBRX가 엔비디아의 NIM 마이크로서비스로 제공된다고 발표했다. 엔비디아 NIM 추론 마이크로서비스는 애플리케이션에 생성형 AI 모델을 추가할 수 있는 간단하고 표준화된 방식을 제공한다. 이로써 모델을 완전히 최적화되고, 사전 구축되었으며, 어디서나 배포할 수 있는 컨테이너로 제공해 엔터프라이즈 개발자의 생산성을 획기적으로 높인다.

올해 3월 출시된 DBRX는 데이터브릭스 고객 및 파트너가 사용할 수 있는 모든 도구와 기술을 활용해 완벽하게 데이터브릭스를 기반으로 구축되었으며, 개발자를 위한 확장 가능한 엔드 투 엔드 AI 플랫폼인 엔비디아 DGX 클라우드로 학습됐다. 조직은 기업 데이터로 DBRX를 커스터마이징해 특정 조직을 위한 고품질 모델을 생성하거나, DBRX와 비슷한 맞춤형 전문가 혼합(MoE) 모델을 처음부터 구축하기 위해 DBRX를 참조 아키텍처로서 사용할 수 있다.

데이터브릭스의 데이터 인텔리전스 플랫폼은 엔드투엔드 생성형 AI 애플리케이션의 개발, 평가, 배포, 보안 및 모니터링을 위한 가장 포괄적인 플랫폼을 제공한다. 고객은 데이터브릭스 모자이크 AI의 데이터 중심 접근 방식을 통해 유연한 개방형 플랫폼의 이점을 누리고, 또 안전하고 정확하며 관리 가능한 고유 데이터를 기반으로 생성형 AI 애플리케이션을 손쉽게 확장할 수 있다.

알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “엔비디와의 파트너십을 지속적으로 확장하고 분석 사용 사례와 AI에 걸쳐 고객을 위한 데이터 인텔리전스의 약속을 이행하게 돼 기쁘다”며 “엔비디아와 함께 모든 조직이 자체 데이터를 기반으로 자체 AI 팩토리를 구축하도록 지원할 수 있기를 기대한다”고 밝혔다.

젠슨 황 엔비디아 창립자 겸 CEO는 “데이터는 AI 산업 혁명의 원동력이며, 가속 컴퓨팅으로 데이터 처리 에너지 수요를 절감하는 것은 지속 가능한 AI 플랫폼을 구현하기 위한 핵심 요건”이라며 “데이터브릭스의 핵심 컴퓨팅 스택에 엔비디아 쿠다 가속을 도입함으로써 전 세계 고객이 데이터를 사용해 기업용 생성형 AI를 구동할 수 있는 기반을 마련할 예정”이라고 강조했다.

데이터브릭스는 최근 라이언 블루, 다니엘 윅스, 제이슨 리드 등이 설립한 데이터 관리 스타트업인 타뷸러의 전략적 인수를 발표했다. 대표적인 오픈소스 레이크하우스 형식인 아파치 아이스버그와 리눅스 파운데이션 델타 레이크 창시자 간의 시너지를 발휘하고, 데이터 호환성을 선도해 조직이 더 이상 데이터의 형식에 제약을 받지 않도록 지원한다는 방침이다. 또한, 최근 데이터브릭스는 고객이 효율적으로 데이터 사일로를 허물고 AI 혁신을 실현할 수 있도록 개방형 델타 쉐어링 생태계를 강화하기 위해 새로운 제품 혁신과 전략적 파트너십을 발표했다.