"데이터 이동 없이 AI 활용"…클라우데라, 아이스버그 업데이트

스토리지 비용 최대 79% 절감·쿼리 성능 13배 개선…기업 데이터 전략 혁신

클라우데라가 데이터 이동·복제를 줄여도 인공지능(AI) 활용을 강화할 수 있는 아이스버그 기능을 공개했다. 

클라우데라는 '아이스버그 REST' 카탈로그와 '레이크하우스 옵티마이저'를 업데이트했다고 29일 밝혔다. 이를 통해 기업은 데이터 사일로와 복잡한 거버넌스 문제를 해결하고 모든 위치에서 안전하게 AI와 분석을 구현할 수 있다.

아이스버그 REST 카탈로그는 제로 카피 데이터 공유를 지원한다. 이를 통해 기업은 데이터를 다른 시스템으로 이동하거나 복제하지 않고도 퍼블릭 클라우드와 데이터센터, 엣지 전반에서 서드파티 엔진이 클라우데라가 관리하는 데이터에 접근할 수 있다. 통합 정책 집행과 메타데이터 인텔리전스도 유지된다.

클라우데라는 '아이스버그 REST' 카탈로그와 '레이크하우스 옵티마이저'를 업데이트했다. (사진=클라우데라)

기업은 스노우플레이크와 데이터브릭스, 아마존웹서비스(AWS) 아테나, AWS EMR, 세일즈포스 등 다양한 분석·인공지능(AI) 엔진과 연결해도 일관된 보안과 규정을 유지할 수 있다. 클라우데라 SDX(Shared Data Experience)는 정교한 접근 제어와 데이터 계보, 감사 기능을 확장해 안전한 데이터 민주화와 대규모 컴플라이언스를 지원한다.

이번 업데이트는 실질적 비용 절감 효과도 기대된다. 클라우데라 내부 고객 사례에 따르면 데이터 스토리지 비용을 최대 79% 절감하고 데이터 가시성을 크게 향상시켰다. 한 글로벌 위성 기업은 이를 통해 AI 데이터 파이프라인을 강화하면서 운영 효율을 높였다.

레이크하우스 옵티마이저는 아파치 아이스버그 테이블을 위한 지능형 자동 최적화 서비스다. 매니페스트 파일과 삭제 파일을 자동 재작성해 반복적 수작업을 제거하고 운영 비용을 절감한다. 기업은 테이블 또는 카탈로그 단위에서 세밀한 정책을 정의해 모든 아이스버그 호환 엔진에 적용할 수 있다.

내부 벤치마크 기준으로 레이크하우스 옵티마이저는 쿼리 성능을 최대 13배 높이고 스토리지 비용을 36% 절감하는 것으로 확인됐다. 이 서비스는 퍼블릭 클라우드뿐 아니라 온프레미스 환경에서도 제공될 예정이다.

레오 브루닉 클라우데라 최고제품책임자(CPO)는 "우리는 아파치 아이스버그 오픈 테이블 포맷을 기업용으로 발전시키는 데 지속적으로 투자해왔다"며 "이번 발표는 고객이 필요한 시점과 장소에서 유연성과 확장성을 확보하고 온전한 인사이트를 얻을 수 있도록 지원하기 위한 것"이라고 말했다.