트위터, '스톰-하둡' 연동 기술 OSS로 공개

트위터가 스트리밍 맵리듀스 시스템을 오픈소스로 공개했다.

3일(현지시간) 외신에 따르면, 트위터는 스톰과 하둡을 결합한 스트리밍 맵리듀스 시스템 '서밍버드(Summingbird)'를 오픈소스로 기증한다고 밝혔다.

서밍버드는 배치 시스템과 스트리밍을 모두 요구하는 애플리케이션의 잡을 복잡하지 않게 수행할 수 있게 해주는 기술이다. 배치와 스트리밍 작업을 한 시스템 안에 담아 트레이드오프를 완화했다.

스톰은 분산 환경에서 스트리밍 데이터를 분석할 수 있게 해주는 기술로 2011년 트위터가 오픈소스로 내놓은 기술이다. 서밍버드에서 하둡은 배치 작업을 스톰은 스트리밍 작업을 맡는다.

서밍버드를 수식하는 단어가 스트리밍 맵리듀스인 이유는 애그리게이션 잡에 초점을 맞췄기 때문이다.

트위터처럼 실시간으로 사용자의 트윗이 트렌드로 만들어지고, 실시간 데이터 검색이 가능하도록 한 서비스에서 유용하다. 즉, 여러 멘션을 쌓아놓고 트렌드를 만들어낼 때 하둡을 사용하고, 실시간 검색이 가능하도록 데이터를 처리할 때 스톰을 사용하는 것이다.

트위터의 서밍버드는 동시에 하둡이 리얼타임 프로세싱 분야에서 힘을 발휘하기 힘들다는 것을 보여준다. 그라비티, 링크드인, 넷플릭스 등 유명 인터넷 기업들도 하둡의 리얼타임 프로세싱 한계를 극복하기 위한 여러 노력의 흔적을 내놓고 있다.