빅데이터, 커지는 스파크의 힘...IBM도 본격 지원

빅블루 IBM이 요즘 주목받고 있는 빅데이터 분석 기술인 아파치 스파크 생태계 지원에 본격적인 시동을 걸었다.

15일(현지시간) 지디넷 등에 따르면 IBM은 스파크를 자사 분석과 커머스 솔루션에 집중 투입하고 블루믹스 서비스형 플랫폼(PaaS)를 통해 스파크를 클라우드 서비스로도 제공한다는 전략이다.

스파크는 2009년 UC버클리 연구 프로젝트로 출발한 빅데이터 분석 기술로 오픈소스 프로젝트로 제공된다. 지난해를 기점으로 빅데이터 분야에서 큰 주목을 끌기 시작했다.

가장 큰 장점은 빠르고, 쓰기도 쉽다는 것이다. 빅데이터 분석에 쓰이는 기존 하둡 맵리듀스의 경우 나온지 꽤 됐음에도 여전히 까다로운 기술로 꼽힌다. 하이브 역시 데뷔 10년 가까이 됐지만 성능 이슈에서 자유롭지 않다는 지적이다. 스파크가 하둡 생태계의 맵리듀스나 하이브를 대체할 잠재력을 갖췄다는 전망이 나오는 이유다.[☞관련기사]

IBM은 스파크 생태계에서 애플리케이션이나 사물인터넷(IoT) 어플라이언스에 필요한 실시간 분석과 빅데이터 예측을 지원하는 것을 주목하고 있다.

IBM은 또 전 세계 10여개국 연구소 3천500명에 달하는 내부 연구원들과 개발자들이 스파크 관련 프로젝트에서 작업할 수 있도록 한다는 방침이다. IBM은 스파크 오픈소스 생태계에 머신러닝 기술인 시스템ML도 공개했다. AMP랩, 데이터캠프, 메티스트림 등과 손잡고 데이터 엔지니어와 데이터 과학자들을 위한 트레이닝도 제공하기로 했다.

IBM은 스파크를 왓슨 헬스 클라우드 인사이트 플랫폼에도 투입한다. 이를 기반으로 의사와 의학 분야 연구원들에게 빠른 결과를 제공한다는 전략이다.