아파치 스파크 1.4 공개 'R언어 지원'

오픈소스 인메모리 분석 프레임워크인 아파치 스파크가 R 프로그래밍 언어를 지원하게 됐다.

12일(현지시간) 미국 지디넷에 따르면, 아파치 스파크 1.4 정식 버전이 공개됐다.

아파치 스파크 1.4는 파이선3를 지원하고, R 사용자는 스파크R이란 R API를 통해 대형 데이터세트에서 직접 작업할 수 있다.

스파크 커미터인 패트릭 웬델은 블로그에서 “스파크R은 스파크의 병렬 엔진을 사용하기 때문에 멀티 코어나 멀티 머신의 혜택을 볼 수 있고, R프로그램 단독인 경우보다 훨씬 더 큰 데이터 규모로 확장할 수 있다”고 설명했다.

스파크R은 UC버클리의 AMP랩이 아파치 스파크의 R 프론트엔드를 제공하기 위해 만들었다. 스파크의 분산 처리엔진을 사용해 R 셸에서 대규모 데이터 분석을 할 수 있다.

스파크1.4는 스파크SQL과 데이터프레임 라이브려리에 윈도 기능을 추가했다. 데이터프레임 실행속도를 빠르게 하는 프로젝트 텅스텐의 초기 성과를 포함시켰다고 한다.

머신러닝 파이프라인 API는 더 안정화돼 프로덕션 레디 상태로 격상됐다.

시각적 디버깅과 유틸리티 모니터링 등도 추가됐다. 스파크 앱이 얼마나 운영되는지 이해를 돕는다.

아파치 스파크는 2009년 UC버클리대학교에서 개발된 기술이다. 2010년 오픈소스로 전환됐고, 창시자들이 데이터브릭스란 회사를 설립해 스파크 개발을 주도하고 있다.