트위터 '스톰' 아파치재단 인큐베이터 선정

트위터가 개발한 실시간 데이터 프로세싱 기술 스톰이 아파치재단 인큐베이터 프로그램에 등록됐다.

지난 19일 아파치재단에서 실시된 인큐베이터 프로그램 선정 투표에서 '스톰(Storm)'이 최종 선정됐다.

스톰은 트위터가 지난해 9월 내놓은 오픈소스 소프트웨어(SW)로, 대용량 데이터를 실시간으로 분석할 수 있게 해주는 기술이다.

하둡이 배치분석에 특화된 대용량 분산처리 시스템이라면, 스톰은 실시간 분석에 특화된 분선처리 시스템이다. 하둡의 실시간 분석 성능 부족을 보완하기 위해 트위터 내 개발자조직이 만들어냈다.

스톰 프로젝트 의장인 네이선 마르츠는 스톰은 맵리듀스가 병렬 배치 프로세싱을 쉽게 작성하는 것처럼 실시간 분야의 구멍을 메우는 SW라며 실시간 프로세싱을 위해 수동으로 큐 네트워크와 워커를 구축해야 하는 수고를 자동화한다라고 설명했다.

그는 스톰의 초기 애플리케이션 중 하나가 토폴로지의 일부로서 초당 수백건의 데이터베이스 콜을 포함해 초당 100만건의 메시지를 10 노드 클러스터에서 처리한다라고 규모 측면의 장점도 강조했다.

스톰은 '토폴로지 분석 기능을 제공해 메시지 처리를 불특정한 시점까지 무기한 실행 수 있다.

또 트위터는 분산처리 설계구조상 주컴퓨터에서 실행되는 '님버스(Nimbus)'와 그 명령을 따르는 하위컴퓨터에서 돌아가는 '수퍼바이저(Supervisor)' 사이에 최적화를 맡는 클러스터 기술 '주키퍼(Zookeeper)'를 뒀다. 스톰 시스템에 장애조치와 예비자원 제공 기능을 구현하기 위해서다.

아파치재단 인큐베이터 프로그램은 기술적인 절차가 아니다. 아파치재단은 깃털을 포함한 로고를 허가하며 적합한 라이선스인지 판단한다. 트위터 스톰은 이클립스 퍼블릭 라이선스(EPL)을 따른다.