페이스북 빅데이터 기술, 클라우드로도 제공

페이스북 SQL온하둡 엔진 '프레스토(Presto)'를 클라우드 서비스로 제공하는 스타트업이 등장했다.

온라인 IT미디어 기가옴은 10일(현지시각) '큐볼(Qubole)'이 페이스북 하둡 데이터 저장소 기반 대화형 쿼리 시스템인 프레스토를 클라우드 기반 서비스로 일반 사용자들에게 제공한다고 보도했다.

페이스북은 지난해 6월 프레스토를 처음 소개했고 11월 오픈소스로 해당 기술을 공개했다. 페이스북은 프레스토가 하이브(Hive)보다 10배쯤 빠르다고 주장한다.

하이브는 분산처리기술 하둡 기반 환경에서 생성, 수집된 하둡분산파일시스템(HDFS)상의 데이터를 SQL과 유사한 '하이브QL'로 조회할 수 있게 만든 쿼리엔진이다.

큐볼 창립자 아시시 투수(Ashish Thusoo)와 조이딥 센 사르마(Joydeep Sen Sarma)는 앞서 하이브를 만들었던 인물들이다.

페이스북이 만든 프레스토는 하이브처럼 SQL로 데이터를 조회할 수 있게 하면서 그 약점인 처리시간 지연 문제를 극복하기 위해 등장했다.

프레스토는 아파치 오픈소스 진영을 둘러싼 여러 업체가 개발중인 'SQL온하둡' 기술 가운데 하나다. SQL온하둡 기술은 하둡에서 빠른 속도를 겸해 대화형으로 쿼리를 처리하는 환경을 제공한다.

앞서 기가옴은 현업을 겨냥한 SQL온하둡 시장에 프레스토의 오픈소스화가 실질적인 충격을 줄 수 있는 이유는 그 대규모 서비스 환경에서 하둡 데이터 처리의 성능을 개선할 수 있음을 입증해왔기 때문이라고 전했다.

그러나 큐볼은 서비스형태로 프레스토 기술을 제공한다는 점에서 주목할만하지만 그 스타트업이라는 규모와 상대적으로 사용자 기반이 작다는 제약상 (도입 효과를) 거의 입증하진 못한다고 평했다.

SQL온하둡 중에서도 단순히 프레스토처럼 맵리듀스를 안 쓰고 SQL을 지원하는 빠른 쿼리 엔진으로는 맵알 '드릴', 클라우데라 '임팔라', 스토리지업체 EMC 자회사 피보탈에서 개발한 '호크' 등이 있다.

또 하둡기반 데이터웨어하우스(DW)로 분류되는 기술에 그루터가 주축을 이뤄 하이브 대체 플랫폼으로 개발중인 아파치 인큐베이터 프로젝트 '타조', 야후에서 분사한 호튼웍스의 하이브 업그레이드판 '스팅거'가 있다.