넷플릭스, 로그수집기 '수로' 오픈소스 공개

넷플릭스가 여러 애플리케이션 서버에서 일어나는 이벤트 데이터를 수집해 하둡 등 데이터플랫폼에 보내주는 기술을 오픈소스로 공개했다.

9일(현지시간) 기가옴 등에 따르면, 넷플릭스는 데이터를 소스에서 수집해 목적지로 실시간으로 보내주는 기술 '수로(Suro)'를 오픈소스로 공개했다. 아파치 플럼(Flume)과 유사한 아피치 척와(Chukwa)에서 파생된 기술이다.

수로는 각지에 퍼진 애플리케이션 서버에서 생성되는 데이터를 수집해 하둡, 엘라스틱서치 등의 목적에 맞는 저장소로 보내준다. 하루당 수십, 수백억건씩 생성되는 애플리케이션의 이벤트 데이터를 배치분석용, 실시간 분석용으로 구분해 전송한다.

넷플릭스 이용자가 웹이나 애플리케이션을 통해 어떤 서비스를 이용하게 되면 로그데이터가 생성된다. 초당 150만건씩 생성되는 이 로그 데이터는 수로로 보내지고, 기본적으로 S3를 거쳐 하둡 클러스터로 들어가 배치분석용으로 저장된다.

동시에 동적라우팅룰에 기반해 아파치 카프카로 보내져 스톰, 엘라스틱서치 등 실시간 스트리밍 분석용 인프라로 이용자 반응에 대한 실시간 대응을 가능하게 한다.

넷플릭스는 블로그를 통해 우리 서비스는 각 애플리케이션에 발생한 에러를 자동으로 검출해 10분 안에 창에 띄우고, 애플리케이션 소유자에게 알림을 보낸다라고 설명했다.

현재 수로 클라이언트, 수로 서버, 카프카 싱크 및 S3 싱크, 메시지 필터 3종 등이 나와있다.

수로는 지난 10월 네이버 개최 데뷰2013 컨퍼런스에 강연자로 나섰던 배재현 씨도 개발에 참여한 기술이다.