트위터, 분석기술 '스톰' 공개…하둡 닮은꼴?

트위터는 데이터 분석기술 '스톰'을 오픈소스로 공개할 계획을 밝혔다. 스톰은 하둡처럼 분산 환경 데이터를 다루는 실시간 분석 기술로, 회사가 지난달 인수한 회사 '백타입테크놀로지'가 보유해왔다.

영국 지디넷 등 외신들은 지난 6일 트위터가 하둡과 상당히 닮은 실시간 데이터 분석 기술 스톰을 오픈소스로 내놓기 위해 준비중이라고 보도했다.

백타입테크놀로지의 네이던 마즈는 트위터 공식 기술 블로그에 다음달 19일중 스톰을 공개할 것이라며 스톰은 사용, 설정, 운영하기 쉽고 초당 메시지 몇백개를 처리하는 개인 개발자부터 수십만 건을 다뤄야 하는 대기업까지 가져다 쓸 수 있다고 주장했다.

스톰은 '토폴로지스(topologies)'라는 분석 기능을 제공한다. 메시지 처리를 불특정한 시점까지 무기한 실행 수 있다는 점이 하둡 기술과 다르다는 설명이다.

스톰이 토폴로지스를 제공하듯 하둡은 '맵리듀스' 작업을 실행해 분석을 수행할 수 있다. 그러나 하둡의 맵리듀스는 분석 대상이 명확한 일괄처리(배치프로세싱) 기능으로 구현돼 있다는 설명이다.

또 트위터는 분산처리 설계구조상 주컴퓨터에서 실행되는 '님버스(Nimbus)'와 그 명령을 따르는 하위컴퓨터에서 돌아가는 '수퍼바이저(Supervisor)' 사이에 최적화를 맡는 클러스터 기술 '주키퍼(Zookeeper)'를 뒀다. 스톰 시스템에 장애조치와 예비자원 제공 기능을 구현하기 위해서다.

주키퍼는 수천 대 짜리 분산컴퓨팅 환경에서도 성능을 유지할 수 있도록 지원하는 분산시스템 고가용성 서비스 기술이다. 야후 랩에서 개발, 공개했다. 야후는 이를 하둡 분산 시스템과 함께 활용한다.

이전까지 트위터는 자사 인프라에 부분적으로 하둡 기술을 써왔고 지난 3월 하순께 전체 설계구조에 적용을 마쳤다. 하둡과 스톰을 어떻게 활용해 나갈 것인지 여부도 관심거리다.

한편 트위터 외에도 최대 소셜네트워크인 페이스북, 야후와 네이버같은 검색 서비스가 하둡을 쓰는 것으로 알려져 있다. NHN은 최근 자사 서비스에서 하둡을 일부 부서에서 소규모로만 활용중이며, 주로 자체 개발한 분산처리 분석 기술을 사용중이라고 밝혔다.