IBM, '아파치 스파크' 생태계에 통큰 투자

전 세계 10곳 이상 연구소 3천500 여명 연구진 투입

IBM이 폭발적 성장을 보이는 오픈소스 프로젝트 ‘스파크(Spark)’ 생태계에 깊숙이 발을 담갔다.

IBM은 향후 10년간 빅데이터 분석 기술인 ‘아파치 스파크(Apache Spark)’에 대해 대규모 지원에 나선다고 6일 밝혔다.

IBM은 자사의 분석 및 커머스 플랫폼에 스파크를 통합하고, 블루믹스PaaS(서비스 플랫폼)로 스파크를 제공할 계획이다. 모든 앱 개발자가 데이터를 신속하게 로딩하고 모델을 만들며, 자신의 앱에 사용할 예측구조를 도출할 수 있도록 스파크를 IBM 블루믹스 상에서 서비스로 제공한다.

IBM은 스파크 프로젝트에 전세계 10여 곳 이상의 연구소 3천500여 명의 IBM 연구원과 개발자를 투입할 계획이다.

IBM 주최 스파크 해커톤에서 텍사스 A&M 대학 컴퓨터 공학 박사과정 시바 고팔란(오른쪽)이 IBM 개발자인 헨리크 코펠리 잠본(가운데), 루이즈 아오쿠이와 논의하는 모습.

디자인 중심의 지능형 애플리케이션 혁신 고양을 위해 미국 샌프란시스코에 데이터 과학 및 개발자 커뮤니티를 위한 스파크 기술센터를 설립하기로 했다.

앰프랩(AMPLab), 데이터캠프(DataCamp), 메티스트림(MetiStream), 갈바니즈(Galvanize), 빅데이터 대학(Big Data University) MOOC 등과 긴밀한 협력을 통해 스파크 관련 100만 명 이상의 데이터 사이언티스트와 데이터 엔지니어를 육성할 계획이다.

IBM연구소에서 개발한 머신러닝 SW인 ‘IBM시스템ML(systemML)’을 스파크 오픈소스 생태계에 기증해, 스파크 관련 100만명 이상의 데이터 사이언티스트와 데이터 엔지니어를 육성할 예정이다.

IBM은 데이터브릭스와 협력해 스파크 버전 시스템ML을 개발한다. 스파크의 메모리 기반 프로세싱 기술을 활용해 머신러닝을 더 빠르게 수행할 수 있게 한다는 방침이다.

IBM 애널리틱스의 분석 플랫폼 부문 베스 스미스 총괄 사장은 “IBM은 오픈소스의 힘이 고객가치를 창조할 기반이라고 굳게 믿으며 모든 사업에서 근원적으로 혁신을 가속화하고 분석을 이끌 기초 기술 플랫폼이 될 스파크를 전적으로 지원할 계획”이라며 “스파크 도입을 지원함으로써 비즈니스 혁신과 경쟁적 차별화를 원하는 고객의 데이터 전략 발전을 지원할 것”이라고 밝혔다.

스파크는 빅데이터 처리 기술로, 메모리 프로세싱을 통해 하둡보다 빠른 분석 성능을 보인다. 최근 개발자와 데이터 과학자 사이에서 인기를 끌고 있다. 2009년 UC버클리 앰프랩(AMPLab)에서 처음 개발됐고, 작년 연구진 중 일부가 데이터브릭스를 창업해 엔터프라이즈 시장 진출을 노리고 있다. 빠르게 사용자를 늘려가자, 여러 대형 IT솔루션업체가 스파크 생태계에 이름을 올리며 대세론에 동참하고 있다.

IBM은 UC 버클리 앰프랩의 4개 창설멤버 중 한 곳이다. IBM은 수일간에 걸쳐 개최되는 연구회합에 참석해 조언과 현실 세계의 통찰력을 제공하고, 상호 관심사인 프로젝트에 관해 앰프랩 연구원들과 긴밀하게 협력하고 있다고 밝혔다.

UC 버클리 앰프랩 소장인 마이클 프랭클린 교수는 “IBM은 앰프랩의 후원사로서 스파크 커뮤니티의 성장에 기여하고 스파크가 그 주된 요소가 되는 오픈소스 플랫폼인 ‘버클리 데이터 애널리틱스 스택’의 계속적인 발전과 향상을 위해 방향을 제시한다”고 말했다.