스플렁크, 하둡 분석도구 '헝크' 상용화

스플렁크는 하둡 내 데이터를 분석하게 해주는 ‘헝크:하둡용 스플렁크 애널리틱스’ 상용 버전을 출시한다고 30일 밝혔다.

헝크는 하둡분산파일시스템(HDFS) 내 데이터를 손쉽게 검색해 분석하고, 시각화할 수 있는 기술이다. 수집, 스키마 인덱싱 등의 DB 개발과정을 생략하고, 검색, 모니터링, 분석, 시각화까지 한번에 할 수 있는 스플렁크의 기본 성격을 하둡에도 적용한 것이다.

시스템통합(SI)이나 강제적인 데이터 마이그레이션, 복잡한 프로그래밍 과정, 고정된 스키마 작업없이 하둡에 저장된 데이터와 상호 작용하게 해준다.

헝크는 스플렁크 가상 인덱스란 특허기술이 핵심이다. 스플렁크 서치 프로세싱 랭귀지(SPL)를 이용하면 데이터가 스플렁크 인덱스로 저장된 것처럼 저장된 위치에 상관없이 원하는 데이터를 검색할 수 있다.

이와 함께 C#, 자바, 자바스크립트, 파이썬, PHP, 루비 등의 개발 언어에 대한 통합 웹 프레임워크와 소프트웨어 개발도구(SDK) 등의 개발 환경을 제공한다. 지난 7월 베타버전 공개 후 3개월만에 상용 버전을 내놓은 것으로 현재 다운로드 가능하다. 데이터 크기나 하둡 노드 수 제한 없이 60일 무료 평가판을 이용해볼 수 있다.

산제이 메타 스플렁크 상품마케팅 부사장은 “헝크는 조직이 하둡에서 데이터를 분석하는 방법을 변화시킨다”라며 “고객이 몇 주, 몇 달이 아닌 몇 시간 안에 통찰력을 구축하고 전달할 수 있는 소프트웨어의 개발 주기가 길어지는 것을 대체한다”라고 설명했다.

그는 “하둡은 점점 더 중요한 기술이 되고 있으며 많은 조직들이 방대한 양의 데이터를 하둡에 저장하고 있다”라며 “그러나 데이터 세트를 이동시키기에 점점 더 방대해지고 하둡에서 원시 데이터를 분석하는 전통적인 접근 방식이 불안정하고 고정된 스키마를 필요로 하기 때문에 종종 문제가 발생시키고, 고객들은 비용, 시간, 그리고 하둡 클러스터 밖에서 분석을 얻는 것에 대한 어려움에 대해 지속적으로 건의해왔다”라고 덧붙였다.

기존 스플렁크의 하둡 관련 솔루션은 HDFS 내 데이터를 스플렁크 환경으로 끌어와 별도 인덱스를 만드는 방식이었다. 헝크는 데이터 원본을 하둡에 두고 사용자 요청 시 해당 데이터를 가상 인덱스로 바로 끌어온다. 하둡 맵리듀스에 메타데이터를 관리하는 스플렁크 에이전트를 심어 데이터 위치를 모두 파악하게 하는 원리다.

헝크엔 100개 이상의 조직이 베타 프로그램에 참여했다. 헝크는 아파치 하둡, 그리고 클라우데라, 홀튼웍스, IBM, 맵알, 피보탈 등을 포함한 대부분의 주요 하둡 배포판에서 작동한다.