클라우드 빅데이터 서비스가 몰려온다

하둡을 중심으로한 빅데이터 생태계와 클라우드 컴퓨팅 서비스의 결합이 본격화됐다. 빅데이터 인프라를 내부에 직접 구축하지 않고 클라우드 서비스 방식으로 쓰는 흐름이 확산되는 양상이다.

실리콘밸리의 경우 하둡을 클라우드 환경에서 서비스로 제공하는 알티스케일, 모르타르데이터와 같은 스타트업들에 대한 관심이 부쩍 늘었다.

아마존과 구글 등 세계 퍼블릭 클라우드 서비스 시장을 주도하는 공룡 기업들도 빅데이터 서비스 시장 확대에 본격적인 시동을 걸었다.

아마존 클라우드 컴퓨팅 사업 부문인 아마존 웹서비스는 최근 빅데이터 분석 서비스를 제공하는 엘라스틱 맵리뉴스 플랫폼을 업데이트했다. 최근 업데이트된 하둡 최신 기술들을 대부분 반영했다. 그런만큼 대규모 업데이트라는 평가다.

엘라스틱 맵리듀스는 대용량 데이터를 처리하는 아마존 웹서비스 플랫폼이다. 클라우데라 등과 달리 아마존 엘라스틱 맵리듀스는 클라우드 서비스 형태로 제공된다.

클라우드 서비스인 만큼, 사용자로선 편하게 쓸 수 있는게 장점이지만 최신 빅데이터 기술이 서비스에 신속하게 반영되지 않으면 고객 입장에선 쓰기 거북할 수도 있다. 아마존 웹서비스가 하둡 생태계에서 나오는 최신 기술들을 그때그때 서비스에 녹여내는 것이 중요하다는 얘기다.

이를 보여주듯 아마존은 하둡 2.0이 나온지 얼마되지 않은 상황에서 엘라스틱 맵리듀스 플랫폼에 대한 대규모 업데이트를 단행했다. 하둡 2.2, 하이브 피그(Pig), HBase 새 버전을 모두 반영했다. 머하웃(Mahout)도 업데이트했다. 차세대 하둡 맵리듀스 아키텍처인 얀(Yarn)도 반영됐다. 피그는 ETL용으로 사용되는 분석 플랫폼이고, 머하웃은 머신러닝 라이브러리다. ETL은 데이터를 운영 시스템에서 추출해 가공(변환, 정제)한 후 적재하는 모든 과정을 의미한다.

아마존 웹서비스는 그동안 분석 기술을 지원하기 위한 행보를 강화해왔다. 최근에는 비즈니스 인텔리전스 업체인 재스퍼소프트가 엘라스틱 맵리듀스를 지원한다고 밝혀 눈길을 끌었다. 아마존 외에 구글도 클라우드 기반 빅데이터 서비스 확산에 적극적이다.

아마존과 구글의 빅데이터 전략은 19일 지디넷코리아가 개최하는 '제10회 어드밴스드컴퓨팅컨퍼런스(ACC)'에서 보다 자세한 내용을 엿볼 수 있다.

구글 아태지역 본부 소속의 코리 프랜츠마이어는 오전 구글 '빅데이터의 효율적 활용을 위한 구글 빅쿼리&실시간 분석 전략'을 주제로한 기조연설을 하며, 아마존웹서비스 비즈니스 개발 부문 매니저인 애비쉑이 클라우드에서 빅데이터 분석을 이슈로 다룬다.

아마존, 구글외에 세계 무대에서 빅데이터 기술을 선도하고 있는 '빅3'인 클라우데라, 호튼웍스, 맵알 본사에서도 직접 전문가를 투입해, 최신 하둡 트렌드를 소개한다.

맵알의 수석 데이터 사이언티스트인 테드 더닝, 호튼웍스 기술 이사인 제프 마크햄, 클라우데라 소프트,웨어 엔지니어인 앤드류 왕은 이번 컨퍼런스에서 2.0 버전으로 업데이트된 하둡을 둘러싼 이슈와 비전을 공유한다.

이번 행사 참가는 공식 웹사이트에서 등록하면 된다.