클라우데라, 클라우드용 스트리밍 데이터 서비스 출시

클라우데라는 하이브리드 스트리밍 워크로드 처리를 위한 퍼블릭 클라우드용 클라우데라 데이터플로우를 출시했다고 1일 밝혔다.

클라우데라 데이터 플랫폼(CDP)을 통해 사용할 수 있는 클라우데라 데이터플로우(CDF)는 복잡한 데이터 흐름 운영을 자동화하고, 오토스케일링 기능으로 스트리밍 데이터 플로우 운영 효율성을 높이며 짐작에 의한 인프라 규모 확장 작업을 제거해 클라우드 비용을 절감할 수 있다.

IDC의 ‘2021-2025 글로벌 데이터스피어 IoT 장치 및 데이터 예측’ 보고서에 따르면, ‘데이터 인 모션’ 규모는 최대 79ZB까지 기하급수적으로 증가할 것으로 예상된다. 이미 많은 기업은 아파치 NiFi를 활용해 코드없는 데이터 플로우를 시각적으로 설계해 하이브리드 클라우드 아키텍처 전반에서 데이터를 수집, 처리하고 있다.

클라우드는 대용량 저장과 처리에 용이하지만, 다수의 정교한 데이터 플로우를 단일 클러스터에 구현하면 운영 및 모니터링 문제가 발생할 수 있으며, 여러 NiFi 플로우가 동일한 리소스를 사용하면 성능에 문제가 생길 수 있다. IT 관리자가 필요보다 더 큰 인프라 규모를 선택하는 경우에는 비용이 커지는 문제가 발생한다.

퍼블릭 클라우드용 CDF는 쿠버네티스의 NiFi를 위한 클라우드 기반 서비스다. 기본 데이터 플로우 서비스에서 일반적으로 사용할 수 없는 주요 운영 및 모니터링 기능을 제공한다.

▲관리, 검색 및 버전 제어를 위한 센트럴 플로우 카탈로그 ▲여러 클라우드 클러스터 간 데이터 플로우 모니터링과 문제해결 및 성능 조정을 위한 중앙 대시보드 ▲CDP가 관리하는 쿠버네티스 상의 오토스케일링 플로우를 위한 간단한 배치 마법사 및 강력한 API ▲일반적인 적용 사례를 위한 프리셋 플로우를 제공하는 레디플로우즈 등을 이용할 수 있다.