뉴욕하둡월드 개막…초점은 '엔터프라이즈 하둡'

미국 동부지역의 최대 빅데이터 컨퍼런스 ‘스트라타+하둡 월드’가 29일(현지시간) 미국 뉴욕 제이콥 재비츠 컨벤션센터에서 개막했다.

올해도 첫날부터 수많은 소식이 쏟아졌다. 하둡 파일 보안, NoSQL, 하둡인프라 관리자동화 관련 기술등이 첫날 발표됐다. 기존의 하둡 벤더는 물론, 여러 스타트업이 나서 엔터프라이즈 하둡 시장 공략을 위한 솔루션을 선보였다.

스트라타+하둡 월드가 29일(현지시간) 개막했다.

미국 지디넷은 스트라타+하둡 월드 컨퍼런스 첫날과 개막전날 쏟아진 새 소식을 정리해 보도했다.

■하둡파일시스템 보안

빅데이터 스타트업 블루테일런(BlueTalon)은 하둡분산파일시스템(HDFS) 레벨의 보안 권한 기술을 발표했다.

블루테일런의 기술은 하둡 파일시스템 차원의 데이터에 접근권한을 부여하게 해준다. 이를 통해 보안 제어력을 전체 하둡 서비스의 데이터 읽기에 미칠 수 있다.

■맵알DB NoSQL

하둡 배포판 제공업체 맵알은 H베이스 호환 컬럼스토어 NoSQL 데이터베이스인 맵알DB에서 JSON 문서를 네이티브로 제어할 수 있다고 밝혔다.

맵알DB OJAI 구조

맵알DB는 오픈JSON 애플리케이션 인터페이스(OJAI)로 하둡에 접근한다. JSON 지원으로 맵알DB는 하둡 데이터 셔플 과정을 거치지 않게 됐다. 이를 통해 분석 속도가 빨라진다.

맵알DB 커뮤니티 에디션은 무료로 현업에서 사용가능하다. 현재 프리뷰 단계로 이번 분기말 정식버전으로 나올 예정이다. 엔터프라이즈 에디션은 고가용성, 재해복구, 복제 등의 기능을 추가로 제공하게 된다.

맵알은 “컴플렉스이벤트프로세싱(CEP)나 머신러닝 등을 하둡 플랫폼과 연동할 때 데이터를 이동시키지 안하도 되며, 동일 형식 스키마를 사용하고, 이동과 배포를 위한 무언가를 이용하지 않아도 된다”고 설명했다.

■하둡 리소스 사용 분석

하둡 클러스터 운영분석 전문업체 어튜니티(Attunity)는 어튜니티비저빌리티7 버전을 공개했다. 이 제품은 하둡과 엔터프라이즈데이터웨어하우스(EDW)의 데이터 사용량과 활동상태를 시각적으로 관리하게 해준다.

어튜니티는 하둡용 리플리케이트익스프레스도 발표했다. 하둡에 저장된 파일을 빠르게 완전복제할 수 있다. 변경데이터캡처(CDC) 기술을 사용하는 관계형DB와 하둡 사이의 배치 데이터, 증분데이터 모두 복제 가능하다. 하둡용 리플리케이트익스프레스는 주요 하둡 배포판 제공업체의 인증을 받았다.

■하둡 생태계의 진화, 그리고 MS

페퍼데이터란 회사는 하둡용 지불거절보고시스템을 소개했다. 이 시스템은 하둡 클러스터 멀티테넌트를 가능하게 하고, 프라이빗 클라우드의 서비스형 하둡(Hadoop as a Service) 구현을 돕는다.

호튼웍스가 그리는 미래 빅데이터 환경

호튼웍스와 피보탈이 앞장선 빅데이터 기술 표준화 연합체 ‘오픈데이터플랫폼이니셔티브(ODPI)’는 새로운 회원사와 핵심 스펙 진행상황을 발표하는 한편, 리눅스재단 산하 협업 프로젝트로 편입된다고 밝혔다.

ODPI는 엔터프라이즈에서 쉽게 사용가능한 표준 빅데이터 플랫폼을 개발하고 있다. 아파치 하둡 기반 배포판이나 애플리케이션을 제공하는 솔루션업체와 통신, 제조 등 사용기업, 빅데이터 IT서비스 제공업체 등 14개 회원사를 보유했다. ODPI는 회원사 제품 간 호환성과 성능, 안정성, 보안 등을 사전검증해 빅데이터 플랫폼으로 내놓을 계획이다.

임페터스테크놀로지스는 EDW 플랫폼의 워크로드 DB를 하둡으로 이전하는 신제품을 소개했다. 임페터스는 이를 DW워크로드 마이그레이션 솔루션으로 표현했다.

MS는 애저데이터레이크 서비스를 곧 출시한다고 발표했다. 애저데이터레이크는 대용량 스토리지와 분석 요소를 포함한 클라우드 기반 빅데이터 저장소 서비스다.

MS 애저 데이터 레이크 다이어그램

이 서비스는 코스모스(Cosmos)란 이름으로 MS 내부에서 사용되던 시스템을 공개 서비스화한 것이다.

MS는 서비스 요소 중 분석 엔진인 애저데이터레이크애널리틱스와, 저장소인 애저데이터레이크스토어는 올해말 공개프리뷰로 출시한다고 밝혔다. 이와 함께 HDFS 클라우드 스토리지 내 데이터 분석을 위한 개발자도구도 내놓을 예정이다. MS의 이 도구는 USQL이란 새 언어를 포함한다.