피보탈, 아파치SW재단에 '호크' 기증

피보탈의 SQL온하둡 기술 ‘호크(HAWQ)’가 아파치 소프트웨어로 거듭난다.

피보탈은 하둡 기반 호크 SQL 분석 기술과 MADlib 머신러닝 기술을 아파치소프트웨어재단(ASF)에 기증하고 오픈소스로 전환한다고 5일 밝혔다.

피보탈 호크를 기반으로 하는 아파치 호크는 ANSI SQL 컴플라이언스, 스케일 아웃 대량병렬처리(MPP) 아키텍처, 최신 쿼리 최적화, 멀티태넌트 인지(multi-tenant awareness), 인터랙티브 애드혹 분석 쿼리, 비즈니스 인텔리전스 및 시각화 도구와 검증된 통합 등을 특징으로 한다.

2013년 출시된 피보탈 호크는 피보탈 그린플럼 데이터웨어하우스(DW) 시스템과 포스트그레(PostgreSQL)에 기반한 분석 엔진이다.

SQL온하둡은 하둡분산파일시스템(HDFS)에 저장된 데이터를 SQL언어로 빠르게 분석하게 해주는 데이터 처리 기술을 일컫는다.

아파치 호크는 앞으로 아파치 인큐베이터 프로젝트로 진행된다. 분석 알고리즘을 병렬로 실행하고, 피보탈하둡배포판(Pivotal HD), 호튼웍스데이터플랫폼(HDP), 향후 출시 예정인 오픈데이터플랫폼이니셔티브(ODPi) 코어에 기반한 어떤 하둡 클러스터에서 구성 가능하다.(☞아파치 호크 인튜베이터 프로젝트 바로가기)

피보탈은 이와 함께 머신러닝 라이브러리인 MADlib 를 아파치 인큐베이터 프로젝트로 변경했다. 아파치 MADlib는 호크와 매끄럽게 통합되는 대규모 병렬 머신러닝 알고리즘 모음이다.

MADlib는 피보탈과 캘리포니아대학교 버클리캠퍼스, 스탠퍼드 대학교, 플로리다 대학교 연구진 및 피보탈 고객사 등의 협력을 통해 개발됐다. 금융, 자동차, 미디어, 통신 및 교통 등 다양한 산업군에서 사용된다. MADlib는 피보탈 빅데이터 스위트의 호크, 피보탈 그린플럼, 포스트그레SQL 등을 지원한다.(☞아파치 MADlib 인큐베이터 프로젝트 바로가기)

피보탈은 향후 ASF를 통해 호크와 MADlib의 개발을 이어갈 예정이며, 하둡 전문업체인 호튼웍스 및 알티스케일(Altiscale)과 지속적으로 협력할 계획이다.

게빈 셰리 피보탈 데이터담당 부사장 겸 CTO는 “피보탈의 ASF 인큐베이터 프로젝트 지원으로 호크와 MADlib 기술이 하둡 개발자와 사용자에게 뛰어난 SQL 처리 능력과 노하우를 제공하게 될 것”이라며 “피보탈은 데이터 처리 시스템 분야 최고 전문가와 오픈소스 환경에서 협력하고, 고객에게 더 나은 서비스를 제공하고 있다” 고 강조했다.