넷플릭스, 마지막 데이터센터 문 닫다

모든 IT시스템 아마존웹서비스로 이관

넷플릭스가 마지막 데이터센터를 폐쇄하고, 7년에 걸친 아마존웹서비스(AWS) 이전 작업을 끝냈다.

12일(현지시간) 미국 지디넷에 따르면, 넷플릭스는 최근까지 운영해온 마지막 자체 데이터센터의 운영을 중단하고 모든 IT시스템의 AWS로 이전을 완료했다고 밝혔다.[☞블로그 바로가기]

유리 이즈라일레브스키 넷플릭스 클라우드및플랫폼 엔지니어링 부사장은 지난 1월초 과금과 고객 및 직원 데이터관리에 사용해온 데이터센터 운영을 중지해 클라우드로 이전을 마무리했다고 적었다.

그는 “모든 고객 관련 서비스를 포함해 시스템 대다수를 2015년에 앞서 클라우드로 이전했는데, 과금과 고객및직원 데이터관리 등은 클라우드에서 보안성과 내구성을 검사해야 했다”고 설명했다.

넷플릭스는 AWS의 대표적 사용자로 알려졌다. AWS 활용과 기술역량에 있어 가장 앞선다는 평가도 받는다. 그런 넷플릭스가 클라우드로 완전히 이전하기까지 7년이나 걸렸다.

넷플릭스

넷플릭스는 2008년 8월부터 AWS로 시스템을 옮기기 시작했다. 그사이 넷플릭스의 스트리밍 서비스 이용자는 8배 증가했다.

유리 이즈라일레브스키 부사장은 “클라우드로 가는 가장 쉬운 방법은 모든 시스템을 변경없이 그대로 들어 AWS에 떨구는 것”이라며 “그러나 그를 통해 데이터센터의 모든 문제와 한계까지 옮기게 된다”고 적었다.

그는 클라우드 네이티브 전략을 택했다는 점을 강조했다. 넷플릭스의 기술 전체를 재구축하고, 회사의 운영 방법을 토대부터 바꿔야 했다는 것이다.

기술 아키텍처의 경우 하나로 단단하게 결합된 앱을 수백개의 마이크로서비스로 이전했고, NoSQL을 사용하는 데이터 모델을 비정규화했다.

예산 승인, 중앙집중화된 출시 조정, 수주에 걸친 하드웨어 할당 주기 등은 지속적 전달 체계로 변경됐다. 엔지니어링팀은 느슨하게 연계된 데브옵스 환경에서 셀프서비스툴을 사용하는 독립적 결정을 하게 됐다. 수많은 신규 시스템을 구축하면서 새로운 기술을 익혀야 했다.

마지막 데이터센터의 운영중단에 즈음해 넷플릭스는 130여개 국가로 서비스 지역을 대폭 확대했다. 그는 “넷플릭스를 클라우드 회사로 전환하기 위해 시간과 노력을 들였지만, 회사는 계속 성장해 훨씬 더 좋은 지위에 섰으며, 세계적 TV 네트워크가 됐다”고 강조했다.

넷플릭스 월간 스트리밍 트래픽 증가추이

그는 클라우드로 이전하게 된 가장 큰 이유로 사업성장 속도를 지원하기 위해서라고 꼽았다. 급증하는 데이터 규모와 자원집약적 기능을 회사 데이터센터로 뒷받침하기 힘들었다는 것이다.

그는 “단순하게 서버를 충분히 빠르게 갖출 수 없었다”며 “클라우드의 민첩성은 수천대 가상서버와 수 페타바이트 스토리지를 몇분 안에 추가하게 하고, 팽창시키는 게 가능하다”고 적었다.

그는 “우리는 비즈니스 로직과 분산형 DB, 빅데이터 처리/분석, 추천, 트랜스코딩, 넷플릭스 앱의 수백개 기능 등을 위해 확장성있는 컴퓨팅과 스토리지를 전적으로 클라우드에 의존한다”며 “비디오는 넷플릭스 오픈커넥트란 CDN을 통해 세계에 퍼져있는 회원의 기기들에 효과적으로 비디오를 전달한다”고 덧붙였다.

넷플릭스는 2012년 아카마이와 라임라이트네트웍스 같은 CDN 전문업체를 이용하다 자체 CDN으로 전환했다.

서비스 가용성 증대도 클라우드의 이점으로 꼽혔다. 데이터센터를 운영하던 시기엔 수차례 서비스 중단을 겪었지만, 클라우드 이전 초기 피할 수 없는 패치 후엔 전체 가용성이 꾸준하게 증가했다고 한다. 그는 서비스 가용성 목표인 99.99%에 근접했다고 적었다.

넷플릭스는 시스템 장애를 피할 수 없는 것이라 여겼다. 아키텍처에 대체분과 성능저하에 대한 원칙을 수립하고, 카오스몽키 같은 일련의 테스트 기술로 훈련하면서 효과적으로 대응했다.[☞관련 블로그 바로가기]

그는 비용에 대해 당초 클라우드를 택한 주요 이유는 아니었다고 밝혔다. 그러나 클라우드의 민첩성 덕분에 비용절감효과가 따라왔다고 설명했다.

적절한 인스턴스 유형을 혼합하고, 대용량 버퍼를두지 않고 즉시 용량을 증가 혹은 축소시킬 수 있다는 점 떄문에 스트리밍 당 클라우드 비용을 줄일 수 있었다는 것이다. 거대한 클라우드 생태계를 통해 규모의 경제의 혜택을 볼 수 있었다는 점도 덧붙였다.

아스테크니카에 따르면, 넷플릭스는 동영상 스트리밍 서비스와 별개로 DVD 사업을 자체 데이터센터로 제공하고 있다. 8배 성장한 스트리밍 사업과 달리 DVD사업이 크게 변하지 않기 떄문이라는 설명이다.