그루터, 빅데이터 핵심기술 개발…외산에 반격

빅데이터 플랫폼 전문기업인 그루터가 외산 업체가 주도하는 빅데이터 분석 처리 엔진 개발에 나섰다.

그루터(대표 권영길)는 오픈소스 빅데이터 분석 처리엔진 ‘아파치 타조(Tajo)’ 개발을 본격화한다고 27일 밝혔다.

그루터는 하둡과 하둡 에코시스템 관리 툴인 ‘클라우몬(Cloumon)', 빅데이터 플랫폼인 ‘쿠바(Qoobah)’를 바이오인포메틱스, 보안, 쇼핑, 온라인 콘텐츠 서비스 분야 등에 적용하면서 글로벌 회사와 경쟁할 정도로 빅데이터 플랫폼 회사로서 입지를 쌓아가고 있다.

이와 함께 그루터는 빅데이터에 필요한 핵심 기술을 확보해 국내 시장을 넘어 해외 시장 진출을 위한 핵심 기술로 IA(Interactive Analysis; 이하 IA)를 주목해 왔다.

빅데이터 분석 처리 엔진은 최근 전세계적으로 주목받는 빅데이터 플랫폼의 핵심 기술 중 하나다. 실시간 데이터 처리에 약점을 가졌던 하둡의 한계를 극복하고, 빠르게 의미있는 데이터를 뽑아내는 ‘sql on hadoop’이라 불리는 IA 기술이다.

그동안 이 분야는 미국 클라우데라(Cloudera) 사의 임팔라(Impala), 호튼웍스(Hortonworks) 사의 스팅거(Stinger), 맵알(MapR)의 드릴(Drill), EMC 자회사인 피보탈의 호크(HawQ) 등이 서로 경쟁해 왔다.

그루터가 개발하는 빅데이터 분석 처리 엔진의 명칭은 ‘타조(Tajo: http://tajo.incubator.apache.org/)*’다. 타조는 2013년 3월 세계 최대 오픈소스 재단인 아파치 소프트웨어 재단의 인큐베이터 프로젝트로 채택되며 전세계 빅데이터 관련 개발자들의 관심을 한몸에 받았다. 북미 지역 이외의 첫 IA이면서 아시아에서 등장한 첫 IA라는 점도 눈길을 끈다.

타조는 아파치 재단의 인큐베이션 프로젝트 선정 이전부터 글로벌 IT기업들의 뜨거운 관심을 한몸에 받았다. 미 항공우주국(NASA) 제트추진연구소(JPL), 인텔, 링크드인, 호튼웍스, 플랫포라 등의 개발자가 커미터로 참여 중이다.

타조를 적용하면 기존 하둡 빅데이터 처리엔진 대비 10배 이상 100배까지 빠르게 데이터를 처리할 수 있다. 특히 조만간 타조와 같은 IA 기술과 하둡 생태계 진영에서 나온 기술들을 최적화할 경우 기업들이 사용하는 상용 데이터웨어하우스(DW)를 상당부분 대체할 수 있을 것으로 그루터는 내다보고 있다.

그루터는 2012년부터 IA 개발에 대한 준비기간을 거쳐 올 6월부터 본격적인 개발 작업에 착수했다. 아파치 재단의 프로젝트관리위원회(PMC) 멤버이며 타조 최초 발의자인 최현식 박사가 졸업과 동시에 그루터에 합류했다. 또 그루터에서 활동중인 두명의 타조 커미터와 내부 빅데이터 플랫폼 전문가들 뿐 아니라 외부의 전문가들도 활동하는 등 빅데이터 핵심 인력들이 참여중이다. 올해중으로 타조의 성능을 엔터프라이즈급으로 향상시키는 것을 목표로 하고 있다.

권영길 그루터 대표는 “SQL온하둡(sql on hadoop) 기술은 빅데이터 플랫폼의 차세대 핵심기술로 기존 하둡의 응용면에서도 엔터프라이즈급 성능을 제공함으로써 많은 부분 기존 시장의 대체와 함께 신규시장을 빠르게 확대하는데 일조할 것이다”라고 강조했다.