페북, HBASE 가용성 99.999%로 높여

페이스북이 하둡의 NoSQL 아파치 HBASE에 탄력성(resilience)을 더했다. HBASE 다운타임을 연간 5분으로 줄였다.

최근 페이스북은 엔지니어링 블로그를 통해 HBASE의 장애에 대한 탄력성을 높인 '히드라베이스(Hydrabase)'를 개발중이라고 밝혔다.

HBASE는 하둡분산파일시스템(HDFS)을 바탕으로 작동하는 키벨류 데이터베이스관리시스템(DBMS)이다.

페이스북은 현재 HBASE를 활용해 12가지의 서비스를 제공중이다. SMS, 채팅, 이메일, 페이스북 메시지 등 메신저를 비롯해, 내부 모니터링시스템, 근처친구 기능, 검색목록, 스트리밍데이터분석, 내부 DW용 데이터 스크랩 등이 HBASE 기반으로 운영된다.

여러 장점에도 불구하고 HBASE는 장애발생 시 회복까지 오랜 시간이 걸린다는 단점을 갖고 있었다. 현재 페이스북은 HBASE의 가용성을 99.99%로 유지하고 있지만, 엔터프라이즈에서 사용할 만큼 만족스러운 수준이라 볼 수 없다.

페이그북에 따르면, 히드라베이스는 HBASE의 가용성을 99.999%로 높여준다. 이를 통해 HBASE의 장애시간이 연간 최대 5분으로 줄어든다는 것이다.

히드라베이스는 서버 장애를 대비해 마련해두는 대기 서버를 분산시키는 부분을 개선했다.

리전 서버의 중단 시 호스트된 모든 리전은 자동 페일오버를 제공하는 다른 리전 서버로 이전된다. 자동이전에 따른 파일 이전 프로세스로 인해 HBASE에 지연이 발생한다.

히드라베이스는 논리적, 물리적 복제의 비동기화를 통해 이 지연을 줄인다.

페이스북은 단일 리전 서버에 의해 작동되는 각 리전을 갖는 대신, 각 리전이 한 세트의 리전서버에 호스트된다며 리전 서버 장애 시 리전 안의 대기서버가 서비스를 지탱하게 된다고 설명했다.

이어 스탠바이 리전서버는 다른 랙이나 데이터센터를 교차해 퍼질 수 있고, 장애를 겪는 또 다른 도메일에도 가용성을 제공한다고 덧붙였다.

또한 각 리전을 서비스하는 리전서버의 세트는 쿼럼을 형성한다며 각 쿼럼은 클라이언트에게 서비스 읽기와 쓰기를 요청하는 리더를 갖는다고 밝혔다.

관련기사