호튼웍스 데이터 플랫폼, '하둡' 기업시장 구애

야후에서 독립한 하둡 전문업체 '호튼웍스'가 자사 이름을 내건 데이터플랫폼을 공개하며 소프트웨어 협력 생태계 조성에 나섰다.

영미권 주요 외신들은 1일(현지시각) 회사가 '호튼웍스 데이터 플랫폼(HDP)'이라는 분산 인프라용 데이터 처리 플랫폼을 내놓으며 하둡 기반 솔루션을 구축하는 대기업, 시스템 통합(SI) 업체, 독립 소프트웨어 개발사(ISV)를 돕는 교육, 지원, 파트너 프로그램을 발표했다고 보도했다.

HDP는 규모가변성을 제공하는 개방적이고 확장가능한 플랫폼으로 묘사된다. 하둡 분산 파일시스템(HDFS), 대규모 클러스터에서 병렬작업을 수행하는 '맵리듀스', 데이터 분석도구 '피그', SQL 비슷한 쿼리언어 '하이브', H베이스(HBase), 주키퍼 등 관련기술을 품은 '아파치 하둡 프로젝트'에 기반한다.

여기에 ISV들이 아파치 하둡 기술을 더 쉽게 통합, 확장할 수 있도록 해주는 개방형 REST API와 메타데이터 관리서비스 'H카탈로그(HCatalog)'와 오픈소스 기반 설치, 관리 작업 시스템을 제공하는 '암바리' 시스템도 활용할 수 있다.

H카탈로그는 아파치 하이브 프로젝트 기반으로, 하둡과 다른 기업용 정보시스템간 데이터 공유를 단순화해주는 역할을 한다. HDP 사용자들이 기존 테이블 형식과 유사한 전통적 방법으로 데이터를 저장할 수 있게 해준다.

암바리는 아파치에서 진행중인 인큐베이터 프로젝트로, 하둡 설치와 관리 시스템을 제공할 예정이다. 다중 크럴스터 환경에서 하둡 설치와 업그레이드를 빠르게 처리할 수 있도록 해준다.

호튼웍스는 하둡 생태계를 구축하기 위한 기술 지원과 개발자 교육 프로그램도 마련했다. 개발자, 아키텍트, 관리자들이 하둡 관련 지식을 보충할 수 있도록 고안된 훈련 과정을 제시했다. 또 모든 호튼웍스 서비스는 아파치 하둡 프로젝트의 핵심영역에 해당하는 주요 코드 개발에 기여한 개발팀이 지원한다고 밝혔다.