아파치 타조 새버전 공개, 활용 사례 증가세

오픈소스 빅데이터 분석엔진 아파치 타조(Apache Tajo)의 새 버전이 공개됐다.

타조 개발을 주도하는 그루터(대표 권영길)는 아파치재단이 타조 0.11.0 버전을 28일 공식 발표했다고 밝혔다.

아파치 타조 0.11.0은 데이터 통합 기능과 호환성을 한층 강화했다. 이와 함께 게임, 에너지, 광고 플랫폼 등 다양한 분야에서 타조를 빅데이터 분석에 활용하는 실무 사례가 속속 발표됐다.

타조의 새 버전은 다양한 데이터 포맷과 저장소를 지원하여 데이터를 더욱 쉽게 통합하고 연계 분석할 수 있도록 했다.

타조 프로젝트 의장인 그루터 최현식 박사는 "기존 DB 사용자에게 익숙한 테이블 스페이스 개념을 도입하고 JDBC 저장소를 추가했다”며 “하둡은 물론 아마존웹서비스(AWS)와 구글 등의 클라우드 저장소, NoSQL, 오라클 등의 기존 관계형 데이터베이스 시스템(RDBMS)에 흩어져 있는 데이터들을 타조로 쉽게 통합할 수 있게 됐다”고 설명했다.

반정형 또는 비정형 데이터를 유연하게 처리할 수 있는 기능도 강화됐다. 타조는 웹 데이터 전송과 로그 저장에 널리 쓰이는 JSON 형식의 원본 데이터를 별도 변환 작업 없이 바로 SQL로 분석할 수 있다.

새 버전은 중첩 구조로 이뤄진 복잡한 데이터 포맷을 지원하고, 테이블 구조(스키마)를 미리 정의하지 않고도 질의 실행 시점에 자유롭게 지정할 수 있다.

아파치 재단에 따르면, 인기 MMORPG 게임인 테라(TERA)를 개발한 블루홀은 JSON 파일을 변환없이 그대로 분석할 수 있는 장점 덕분에 타조를 쉽게 도입할 있었고, 분석가가 새로운 프로그램 언어를 배울 필요 없이 SQL로 빅데이터를 쉽게 분석할 수 있는 사실에 만족하고 있다고 한다.

ORC 파일 형식 지원도 추가돼 다른 빅데이터 분석 솔루션과 연계도 쉬워졌다. ORC 파일 형식을 많이 이용하던 기존 하이브 사용자는 기존 데이터 그대로 타조를 이용해 3배 이상의 성능 향상을 얻을 수 있다. 국내 대표적인 DSP 광고플랫폼 회사인 와이더플래닛의 정수동 CTO는 ‘플랫폼 확장과 분석역량 강화를 위해 그루터와 함께 타조를 자사 플랫폼에 도입한 결과 만족할 만한 속도와 높은 안정성을 확인했다”며 “하이브 사용자가 타조를 사용해 볼 것을 권한다”고 밝혔다.

기존 엔터프라이즈 데이터웨어하우스(DW) 사용자들이 기존 시스템을 확장하거나 보완하기 위해 표준 SQL을 지원하는 타조를 도입하는 사례도 늘고 있다. 뮤직 서비스 멜론은 하이브로 하던 기존 분석 작업을 타조로 전환해 1.5배~수십 배의 성능 향상을 체감했다. 이후 엔터프라이즈 DW시스템인 IBM 네티자(Netezza)에서 했던 분석 작업에도 타조를 도입해 비용 효율적인 DW 시스템을 운영하고 있다고 전했다.

전력 사용량을 분석해 기업과 가정에 서비스를 제공하는 에너지 전문 회사인 인코어드 테크놀러지스도 타조의 빠른 성능과 동시 질의 지원 기능으로 높은 생산성을 이룰 수 있었다고 평가했다. 그루터에 의하면, 이 외에도 엔터프라이즈 DW 를 사용하는 여러 기업이 기존 시스템을 확장하거나 보완하기 위해 타조 도입을 진행 중이다.

권영길 그루터 대표는 “타조는 이미 다양한 프로덕션 환경에서 안정적인 성능을 보장하고 있어 기술 성숙도 측면에서 엔터프라이즈 솔루션으로 성장했다”며 “0.11.0 릴리즈를 계기로 타조의 엔터프라이즈 적용이 더욱 탄력을 받을 것"이라고 강조했다.

그루터는 오라클, 아마존, 구글 등 글로벌 업체와 협력해 기업 내부 및 클라우드 환경에서 타조 확산을 위한 협력을 강화중이다. 이노그리드, 엑셈 등 국내 클라우드, IoT 기술업체와 협력도 강화하고 있다.