클라우데라, CDP에 개방형 테이블 '아이스버그' 통합

클라우데라는 개방형 테이블 형식인 아파치 아이스버그(Iceberg)를 클라우데라 데이터 플랫폼(CDP)에서 공식 출시했다고 2일 발표했다.

아이스버그는 아파치 소프트웨어 재단(ASF)에서 개발된 100% 개방형 테이블 포맷이다. 사용자가 공급업체에 종속되지 않는다. 공식 버전은 CDP의 주요 데이터 서비스인 클라우데라 데이터 웨어하우스(CDW), 클라우데라 데이터 엔지니어링(CDE), 클라우데라 머신 러닝(CML) 등에서 사용 가능하다.

해당 서비스로 애널리스트와 데이터 사이언티스트는 자유롭게 분석 엔진과 도구를 선택해 같은 데이터 상에서 쉽게 협업할 수 있게 된다. 기업은 별다른 사전 작업이나 공급업체 종속, 불필요한 데이터 변환, 클라우드와 도구 간 데이터 이동 없이 아이스버그로 데이터에서 인사이트를 도출할 수 있다.

아파치 아이스버그는 클라우데라 데이터 플랫폼에 통합돼 데이터를 이동하거나 형식을 변경하지 않고 활용하게 해준다.

CDP는 개방형 데이터 레이크하우스를 제공하는 하이브리드 데이터 플랫폼이다. 여러 클라우드와 온프레미스에서 클라우드 네이티브 개체 저장소의 스트리밍과 저장된 데이터에 대한 페타바이트 규모의 다기능 분석을 제공한다. 사용자는 선호하는 분석 도구를 자유롭게 선택 가능하다.

개방형 데이터 레이크하우스를 도입한 기업은 데이터 스케일링에 대한 걱정 없이 온프레미스나 퍼블릭 클라우드 간의 애플리케이션 상호운용성과 휴대성을 확보할 수 있다. 기업은 CDP에 기본 내장된 SDX를 통해 모든 자사 데이터 상에서 공통 메타데이터와 보안, 그리고 거버넌스 모델을 활용할 수 있다.

아파치 아이스버그는 단일 명령으로 스키마와 파티션 변경을 포괄하는 인플레이스 테이블 에볼루션을 지원한다. 포렌식 가시성과 규정 준수 기능을 위해 특정 시점 쿼리를 활용하는 시점 이동도 지원된다. 또한 엣지에서 AI에 이르는 종단 간 데이터 라이프사이클 요구사항을 제공하는 동시 다기능 분석 기능도 제공된다. 이에 더해 대규모 데이터 세트를 처리하기 위한 공격적 파티셔닝으로 향상된 성능을 제공한다.

클라우데라는 아이스버그를 CDP의 SDX 레이어로 바로 통합했다. 고객은 기본 대용량 데이터 세트를 건드리지 않고 메타데이터만으로 한 번의 명령으로 마이그레이션을 진행할 수 있게 됐다.

클라우데라 고객은 기본 데이터를 다시 생성하거나 수정할 필요 없이 CDP를 통해 파티션 에볼루션 기능을 활용하고 세밀한 데이터 파티션을 사용해 쿼리 성능을 10배 이상으로 증가시킬 수 있다.

클라우데라는 이미 아이큐비아(IQVIA), 테라넷, 모닥 애널리틱스 등 여러 고객 사례를 통해 기존 데이터 레이크하우스 아키텍처에서 충족되지 않은 요구조건을 CDP 아파치 아이스버그를 통해 해결했다.

임재범 클라우데라코리아 지사장은 “클라우데라는 지난 10년동안 하이브 테이블 포맷과 하이브 ACID를 도입해 데이터 레이크에 대한 다기능 분석을 제공했다”며 “레이크하우스는 클라우드로 많은 발전을 이뤘지만 여전히 초기 엔진이나 공급업체에 종속된 테이블 포맷으로 운영됐다”고 설명했다.

그는 “기업은 공급업체에 종속되지 않고 데이터 레이크하우스의 뛰어난 확장성과 유연성을 탑재한 분석 엔진과 서비스를 지속적으로 요구해왔다”며 “아파치 아이스버그를 통합해 CDP의 성능을 크게 끌어올려 데이터 레이크하우스를 뛰어넘었으며, 하이브리드와 멀티 클라우드를 가리지 않고 어디서나 모든 데이터를 처리하며, 데이터가 생성되고 저장되며 사용되는 모든 곳에서 고객을 지원한다”고 덧붙였다.