맵알, 아파치 스파크 스택 지원 발표

맵알테크놀러지스는 데이터브릭스와 전략적 파트너십을 체결하고, 맵알 배포판에서 아파치 스파크(Spark) 스택을 지원한다고 21일 밝혔다.

아파치 스파크는 인메모리 기반의 하둡 데이터처리 프레임워크다. 실시간 처리와 손쉬운 프로그래밍 등이 강점이다. 스파크 스택은 배치 기반 하둡분산파일시스템(HDFS) 데이터 처리엔진인 스파크, 스파크 상에서 하이브QL을 사용할 수 있는 샤크, 실시간 처리엔진 스파크 스트리밍, 머신러닝라이브러리(MLLib), 분산그래프시스템 그래프X 등 5개 아파치 오픈소스 프로젝트를 포함한다.

스파크 프로젝트는 올해 3월 아파치소프트웨어재단의 톱레벨 프로젝트로 승격됐으며, 최신 버전은 0.9.1 버전이다. 현재 1.0 버전 공개를 예고해 놓은 상태다.

스파크는 전체 애플리케이션의 성능을 가속하는 인메모리 파이프라이닝(pipelining)과 범용 실행 프레임워크를 제공한다.

개발자는 스파크를 통해 기존 코드의 5분의1 정도 라인으로 구현할 수 있으며 RDDs(Resilient Distributed Dataset) 같은 분산 객체를 사용해 애플리케이션을 설계할 수 있다. 자바, 스칼라, 파이선 등의 프로그래밍 언어를 지원하며 스트리밍 기반 실시간 작업 등 여러 환경에서 같은 코드를 사용할 수 있다.

맵알 배포판은 스파크 스택을 완벽히 지원하게 됐다. 맵알은 사용자에게 스파크 스택과 관련된 모든 프로젝트에 24x7 지원을 제공한다.

아이온 스토이카 데이터브릭스 CEO는 “기업 데이터에서 깊은 통찰력을 빠르게 제공하는 차세대 빅데이터 엔진인 스파크와 맵알의 엔터프라이즈급 신뢰성 및 성능 간의 뛰어난 결합을 기대하고 있다”고 말했다.

존 슈뢰더 맵알테크놀러지스 CEO는 “맵알은 가장 광범위한 컴퓨팅 프레임워크 및 라이브러리와 함께 배포판에 최적의 솔루션을 선택할 수 있는 유연성을 지원한다”며 “가장 개방적인 배포판과 함께 맵알 고객들을 위해 미래 경쟁력이 높은 투자를 지원한다”고 강조했다.

스파크 스택의 추가로 맵알 배포판은 현재 20개 이상의 아파치 오픈 소스 프로젝트를 지원하고 있다.