빅데이터, 스파크 열풍...MS도 본격 투자

빅데이터 분석 시장에서 새로운 블루칩으로 급부상한 스파크 기술에 대한 거물급 회사들의 지원이 쏟아지고 있다. 빅블루 IBM에 이어 마이크로소프트(MS)까지 지원에 본격 나섰다. 빅데이터 분석의 핵심이라 할 수 있는 하둡 플랫폼을 전문적으로 제공하는 회사들인 클라우데라와 맵알도 이미 스파크를 끌어안은 상황이다. 늘어나는 지지 속에 스파크는 빅데이터 분석 시장에서 점점 주류 기술로 대접받고 있는 모양새다.

스파크는 지난해를 기점으로 개발자들 사이에서 주목을 끌기 시작했다. 가장 큰 장점은 빠르고, 쓰기도 쉽다는 것이다. 하둡에 포함된 빅데이터 처리 기술인 맵리듀스의 경우 나온지 꽤 됐음에도 여전히 까다로운 기술로 꼽힌다. SQL 언어에 익숙한 사용자들이 쓸 수 있는 하이브 역시 데뷔 10년 가까이 됐지만 성능 이슈에서 자유롭지 않다는 지적이다. 이에 스파크가 맵리듀스나 하이브를 대체할 잠재력을 갖췄다는 전망도 있다.[☞관련기사]

MS도 스파크 지원에 나섰다.

IBM과 MS 등 유명 IT회사들이 스파크 지원에 나선 것도 이와 무관치 않다. IBM은 6월 스파크를 자사 분석과 커머스 솔루션에 집중 투입하고 블루믹스 서비스형 플랫폼(PaaS)를 통해 스파크를 클라우드 서비스로도 제공한다는 전략을 발표했고 MS는 이번에 스파크 온 애저 HD인사이트 퍼블릭 프리뷰를 공개했다. HD인사이트는 MS가 제공하는 클라우드 기반 하둡 서비스다.

10일(현지시간) 지디넷에 따르면 스파크 온 HD인사이트는 스파크 대시보드 사용자 인터페이스(UI)와의 통합, 파이썬과 스칼라 프래그래밍 언어용 개발 도구인 주피터와 아파치 제플린 노트북, 스파크 데이터를 조작하고 시각화할 수 있는 SQL 쿼리 지원 등을 포함하고 있다.

주목할만한 점은 MS가 야심차게 준비해온 클라우드 기반 셀프 서비스 비즈니스 인텔리전스(BI) 서비스인 파워BI를 스파크 온 HD인사이트와 직접 통합했다는 점이다. MS는 오는 7월 24일 파워BI 서비스를 공식 출시한다. 이에 따라 파워BI는 사용자들은 데이터세트를 구축하는데 있어 스파크온 HD 인사이트도 선택할 수 있게 됐다.

지디넷은 BI 플랫폼과 스파크 온 HD인사이트의 통합을 정형 데이터 분석에 초점을 맞춘 전통적인 BI와 비정형 데이터를 분석하는 빅데이터 기술의 융합이 가속화되는 신호로 해석해 주목된다. 지디넷은 "스파크는 산업의 주류가 되고 있으며, 빅데이터와 BI의 벽을 허무는데도 도움이 될 것이다"고 전했다.