맵알 "SQL온하둡, 싸움은 이제부터"

세계 3대 하둡전문업체로 꼽히는 맵알테크놀로지스가 SQL온하둡 기술 중 하나인 ‘아파치 드릴(Drill)’에 대한 마케팅을 본격화했다. 오픈소스 하둡 진영 중 가장 먼저 개발을 시작하고도 후발주자에게 뒤처진 것을 만회하려는 듯 버전업데이트에 속도를 내는 모습이다.

최근 기자와 만난 맵알테크놀로지스 한국지사의 정덕원 과장은 드릴과 SQL온하둡(SQL on Hadoop)은 실제 비즈니스가 빅데이터를 유의미하게 활용하기 위해 필요했던 데이터 모델링이나 변환 등의 미들맨을 없애는 것을 지향한다며 분석가나 현업 비즈니스 인력이 자가적인 프로그램 제어가 가능해지는 ‘스키마리스(Schemeless)’가 드릴의 특징이라고 강조했다.

SQL온하둡은 하둡 프레임워크의 맵리듀스를 이용하지 않고, 데이터웨어하우스(DW)에서 활용되는 SQL쿼리를 하둡에서 쓰기 위한 시도이자 기술 트렌드를 일컫는다. 하둡 에코시스템의 ‘하이브(Hive)’와 피그(Pig)’가 SQL온하둡 개념 이전에 고안된 분석가와 개발자 사이의 타협점이었다. 하지만 하이브와 피그는 맵리듀스의 성능한계를 그대로 채택하기 때문에 실시간(Real time), 준실시간(near Realtime) 분석이나 대화형(Interactive) 분석의 요구사항을 충족하지 못했다.

드릴은 2010년 구글에서 SQL온하둡이란 개념을 구현한 ‘드레멜(Dremel)’ 기술논문을 공개한 뒤 이듬해 오픈소스 하둡 진영에서 유사 기술을 만들자는 취지로 제안돼 개발되기 시작했다.

드릴은 맵알 개발자들이 대거 투입됐지만, 수년간 지지부진한 발전을 보이다 지난9월 드릴 0.5 베타버전 공개와 함께 비로소 구체적인 모습을 드러냈다. 현재 아파치소프트웨어재단(ASF) 인큐베이터 프로젝트 중 하나로, 이달중 0.6 버전을 내놓고, 연말 1.0 버전을 출시한다는 로드맵이 공개된 상태다.

드릴이 0.5버전을 내놓기 전까지 경쟁사인 클라우데라, 호튼웍스 등은 각각 임팔라와 스팅거(테즈)란 SQL온하둡 기술을 선보이고, 공격적인 마케팅을 진행했다. 작년 클라우데라는 임팔라 1.0을 공개했으며, 호튼웍스도 올해초 하이브 고도화 프로젝트인 ‘스팅거’의 완료를 선언하면서, 맵리듀스 대체엔진 ‘테즈’ 개발을 주도했다.

또한, UC버클리대학교 연구진이 개발한 메모리 기반 데이터처리엔진 ‘스파크(Spark)’가 급속도로 세를 불려 하둡 생태계를 뒤흔들고 있다. 그루터가 개발을 주도하는 '아파치 타조(Tajo)', 페이스북의 '프레스토' 등도 주목받는 상황이다. 이 같은 일련의 흐름은 드릴이 후발주자에게 역전당한 인상을 줬다.

맵알은 드릴에 대해 표준 SQL 준수를 강점으로 내세우고 있다.

정덕원 과장은 “드릴은 표준SQL 완성도에서 임필라보다 앞서있다”며 “드릴은 널리 사용되는 벤치마크인 TPC-H의 22개 SQL쿼리문 수행 시 15개를 그대로 사용하는 반면, 임팔라는 2개만 그대로 사용하고 나머지는 변환해줘야 한다”고 설명했다.

그는 “제공하는 기능이나 파일 포맷의 종류도 하이브, 임팔라에 뒤지지 않는다”고 강조했다.

드릴의 장점과 함께 맵알은 자사의 하둡 배포판에서 광범위한 에코시스템을 지원한다는 점을 특징으로 내세운다. 드릴뿐 아니라 임팔라, 스파크 등도 지원한다는 것이다.

정덕원 과장은 “전체 아키텍처 그릴 때 전체 비즈니스 도메인별로 최적화된 아키텍처를 제공할 수 있다”며 “맵알 배포판은 플랫폼 자체적으로 파일시스템과 노SQL DB를 갖고 있어 여러 오픈소스를 연계해서 쓸 수 있다”고 말했다.

태블로, 마이크로스트레티지, 코그노스, 클릭뷰 같은 시각화업체와 협력을 통해 하둡 전문개발자가 아니어도 시장의 시각화 툴과 100% 호환된다는 점도 강조했다.

맵알뿐 아니라 클라우데라, 호튼웍스, 그리고 오픈소스 하둡 진영은 이제 기존의 대형 RDBMS업체와 관계를 재정의해야 할 시점이다. IBM, 오라클, 피보탈(EMC) 같은 대형 DB 업체가 SQL온하둡 솔루션을 제품으로 내놓는 추세 속에 안정적 발판을 마련해야 하는 것이다.

정덕원 과장은 “기존 RDB업체의 SQL온하둡은 실제로 시장이 RDB에서 NoSQL로 바뀌고 있다는 증거”라며 “맵알은 자체DB를 기존 RDB의 복제나 스탠바이 DB 같은 플랫폼처럼 발전시킬 로드맵을 갖고 있으며, 가격 경쟁력이란 측면의 무기를 갖고 있다”고 밝혔다.