호튼웍스, HDP 2.0 발표 'YARN 반영'

아파치하둡2.0 공개에 맞춰 하둡전문업체 호튼웍스도 자사 플랫폼의 2.0버전을 내놨다.

23일(현지시간) 미국 지디넷에 따르면, 호튼웍스는 아파치하둡2.0을 포함한 호튼웍스데이터플랫폼(HDP) 2.0을 공개했다.

호튼웍스는 2011년 야후의 하둡 인프라 개발조직이 분사한 회사로, 하둡2.0의 프로젝트 총괄자인 아룬 머시와 하이브 창시자 오웬 오말리 등이 속해있다.

HDP 2.0은 하둡2의 얀(YARN) 아키텍처를 포함한다. 얀은 맵리듀스2로도 불리는 리소스 관리 엔진으로, 프로세싱 엔진과 앱에 하드웨어 리소스를 분배하고 관리한다. 얀 도입으로 하둡은 맵리듀스뿐 아니라 다양한 데이터처리엔진을 쉽게 플러그인할 수 있다.

이와 함께 호튼웍스가 추진중인 스팅거도 2단계를 완료한 상태로 포함됐다. 스팅거는 아파치 하이브의 쿼리 속도를 현재보다 100배 높인다는 프로젝트로, 대화형쿼리분석을 실현하기 위해 개발되고 있다. 클라우데라 임팔라, 그루터 주도의 타조 등이 맵리듀스와 하이브를 대체하는 새로운 쿼리엔진을 개발하는데 비해 스팅거는 하이브의 최적화와 포맷 변경으로 속도를 개선하는데 초점을 맞춘다.

스팅거 1단계는 SQL 호환성 개선과 컬럼 스토어 기술, 압축, 인메모리 해시조인 등이 이뤄졌다. HDP2.0에 포함된 스팅거 2단계는 하이브0.12를 사용한다. 하지만 맵리듀스 엔진은 그대로 사용해 얀 아키텍처의 이점을 활용하지 않았다. 호튼웍스는 스팅거 2단계로 1단계보다 60~70배 성능개선이 이뤄졌다고 주장했다.

현재 진행형인 스팅거 3단계는 맵리듀스를 대체하는 테즈(Tez) 엔진으로 데이터처리부를 교체하는 작업을 주 내용으로 한다.

호튼웍스는 HDP 2.0을 통해 여러 하둡 스택도 최신 버전으로 업데이트했다. HBASE, 피그, 스쿱, 우지, 주키퍼, 머하웃, 암바리 등이 최신버전으로 탑재됐다.