HPE-호튼웍스, 아파치 스파크 중심으로 협력 확대

하둡 전문업체 호튼웍스가 휴렛팩커드엔터프라이즈(HPE)와의 협력을 확대했다. 데이터 분석을 위한 아파치 스파크(Spark) 프로젝트의 기술개발 활동에 협력한다는 내용이다.

스파크는 미국 UC버클리대에서 개발돼 2년전 아파치 재단 톱레벨프로젝트로 승격된 분산 데이터 처리 소프트웨어(SW)다. 하둡의 맵리듀스 작업을 디스크 대신 메모리에서 빠르게 수행한다는 점, 그리고 HDFS, H베이스, 하이브, 카산드라, 아마존S3 등 다양한 데이터 저장방식을 지원한다는 점으로 주목을 받았다. 호튼웍스 외에도 클라우데라와 맵알같은 경쟁 업체들이 스파크를 지원한다고 얘기해 왔다.

[☞관련기사: 빅데이터 여는 열쇠 ‘SQL온하둡’ 대혼전]

앞서 호튼웍스는 자체 하둡 패키지 '호튼웍스 데이터 플랫폼(HDP)'을 내놓으며 엔터프라이즈 하둡SW 회사를 자처했다. HPE 산하 연구소 '휴렛팩커드랩스'와의 협력을 통해 스파크 기술을 활용한 메모리 기반 분산 데이터 처리 및 분석 워크로드 지원 기술을 차세대 HDP에 투입할 것으로 보인다.

2년전 호튼웍스는 HPE의 분사 전 휴렛팩커드(HP)로부터 직접 투자를 받기도 했다. 당시 마틴 핑크 HP 최고기술책임자(CTO)가 호튼웍스 이사회에 합류했다. 양사 제휴를 통해 호튼웍스의 하둡 기술을 HP의 데이터플랫폼 '헤븐(HAVEN)'에 탑재해 상용화하고, HP의 데이터 분석 소프트웨어(SW) '버티카'가 하둡2.0 자원관리환경인 얀(YARN)과 잘 맞물

려 돌아가게 한다는 내용도 있었다.

[☞참조링크: HP and Hortonworks Extend Strategic Partnership to Deliver Big Data Solutions for the Enterprise]

[☞관련기사: HP, 'SQL 온 하둡' 기술 상용화]

호튼웍스는 그로부터 1년 7개월만인 1일(현지시각) 휴렛팩커드랩스와 함께 공유 메모리 풀 기반 분석 워크로드를 더 잘 활용할 수 있도록 하는 아파치 스파크 기술의 개선에 협력한다고 밝혔다. 초기 협력 방안에 정렬 및 인메모리 연산 속도를 높여 스파크 기술의 성능을 끌어올리는 셔플 엔진 개선, 대규모 사용 환경에서 필요로하는 확장 성능을 제공하기 위한 메모리 활용도 개선, 2가지 목표가 포함됐다.

스콧 그나우 호튼웍스 CTO는 HPE와의 협력에 대해 "성장하고 있는 스파크 커뮤니티와 솔루션에 대한 우리의 상호 지원과 약속을 나타낸다"며 "우리는 스파크를 아파치 얀으로 지원되는 광범위한 데이터 아키텍처에 통합해 성능과 기능을 향상시키고 아파치 제플린(Zeppelin)처럼 더 나은 애플리케이션 접점을 지원하는 데 초점을 맞출 것"이라고 말했다.

호튼웍스 이사회 멤버인 마틴 핑크 HPE CTO는 "우리는 스파크 커뮤니티가 코드 한 줄 바꾸지 않고도 대단히 큰 데이터셋으로부터 빠르게 인사이트를 끄집어낼 수 있도록 할 수 있게 되길 기대한다"며 "호튼웍스와 함께 일함으로써 스파크가 해결할 수 있는 다양한 도전과제의 범위를 넓힐 수 있게 돼 기쁘다"고 말했다.

[☞참조링크: Hortonworks and Hewlett Packard Enterprise Accelerate Apache Spark]

이날 호튼웍스는 HPE와의 협력과 별개로 데이터 처리와 분석 SW 새 버전 공개 소식도 내놨다. 아파치 스파크 1.6 버전을 포함한 HDP 2.4 버전과, 호튼웍스 데이터 플로우(HDF) 1.2 버전이다.

호튼웍스는 향후 매년 업데이트되는 HDFS, 맵리듀스, 얀 등 하둡 구성요소와 아파치 주키퍼 등을 최신 HDP에 포함하겠다고 밝혔다. 이 구성요소에서 돌아가는 스파크, 하이브, H베이스, 암바리 등 확장 서비스 역시 프로젝트별 개선 속도에 맞물려 지속 업그레이드하겠다고 예고했다.