EMC, 하둡 배포판 공개…"클라우데라 비켜"

EMC가 새로운 자체 하둡 배포판을 내놨다. 클라우데라를 정면으로 겨냥했다.

25일(현지시간) 미국 지디넷 등 외신에 따르면, EMC는 피보탈HD란 새로운 하둡 배포판을 출시했다.

피보탈HD는 그린플럼의 기술력을 통해 오픈소스 빅데이터 소프트웨어를 통합하려는 움직이다.

IBM, 오라클, 테라데이타 등 데이터웨어하우스(DW)업체들은 하둡을 자체적으로 개발하지 않고, 하둡 커넥터만 개발하고 있다. 하둡 커넥터는 DW쪽으로 하둡에 저장된 데이터를 끌어오는 역할을 한다.

반면, EMC는 그린플럼을 인수한 후 그린플럼HD란 자체 배포판을 내놨고, 이번엔 피보탈HD를 내놨다. 그린플럼은 2006년 이후 줄곧 하둡 개발에 투자해왔고, EMC에 인수되며 자금력을 확보해 개발에 힘을 냈다.

조시 클라르 EMC 그린플럼 제품담당 매니저는 클라우데라와 비교를 서슴치 않았다. 그는 “우리는 클라우데라와 경쟁하길 원한다”라며 “피보탈 HD 베타를 고객과 시작했을 때 우리는 클라우데라 구매결정을 멈출 수 있었다”라고 말했다.

피보탈 HD는 아파치 하둡의 여러 부분을 포함하고 있다. 여기에 EMC의 내부 개발자들이 만들어낸 DB 관련 기능과 분석 기능이 포함된다.

피보탈HD는 아파치 하둡과 EMC 그린플럼의 대용량 병렬처리(MPP) 데이터베이스(DB)을 기본적으로 통합한다.

클러스터 매니지먼트 도구는 개발자가 빅데이터 업무를 배포, 구성, 관리할 수 있게 한다. 또한 VM웨어의 하둡 가상화 익스텐션(HVE)를 번들로 포함한다.

EMC에 따르면 피보탈HD 기술지원 및 전문유지보수 서비스비용은 클라우데라, 호튼웍스의 절반이다. 피보탈HD는 소프트웨어만 사용하는 것 외에 어플라이언스에 임베디드된 형태로 사용할 수 있다.

이와 함께 '호크 프로젝트'란 새로운 기능이 주목된다. 하둡에 DB서비스를 제공하겠다는 내용을 골자로 한다.

EMC는 피보탈HD가 테이블 상에 SQL 프로세싱을 가져올 것이고, 전통적인 비즈니스인텔리전스(BI) 툴을 통합할 것이라고 밝혔다. 피보탈HD는 SQL 기반의 데이터 마이닝 툴과 하둡파일시스템을 함께 사용할 수 있게 해준다.

하둡 상의 SQL 쿼리 성능에서 클라우데라의 임팔라보다 앞선 성능을 보인다고 EMC는 주장했다.

하둡분산파일시스템(HDFS)에 저장된 데이터를 SQL 문으로 다루는 기능인 임팔라는 맵리듀스의 한계인 MPP 대비 처리성능 부족을 해결한 기술로 작년 공개돼 주목받았다. 맵리듀스 대신 하이브 메타데이터 디렉토리를 사용하는 방식이다.

EMC는 임팔라와 달리 다이나믹 파이프라이닝이란 기술을 통해 하둡 상에서 SQL문을 사용할 수 있게 했다. 스코트 야라 EMC 그린플럼 부사장은 기가옴과 인터뷰에서 임팔라는 리얼월드 워크로드의 20%가량만 다룰 수 있다라고 설명했다.