'고래야 안녕'…트위터, 인프라 세대교체 완료

탄생 5돌을 맞은 트위터가 IT인프라스트럭처에 대한 세대교체를 완료했다. 트래픽 폭주 때마다 등장했던 고래와 안녕을 고할 수 있을 지 주목된다.

21일(현지시간) 트위터트위터 엔지니어링팀 마이클 애봇은 블로그를 통해 데이터센터 이전작업과 인프라 스트럭처 세대교체를 마무리했다고 밝혔다.

트위터는 그동안 이용자 폭증에 따른 접속불능 사태를 빈번히 겪어왔다. 트위터의 현재 이용자는 2억명으로 하루 평균 트윗이 1억 4천만건에 달한다. 지난해 3월 하루 평균 5천만건이었던 것이 1년만에 3배가량 증가한 것이다.

그에 따르면 트위터는 지난해 6월 10시간에 걸친 장기 서비스장애를 겪은 후 인프라 개선작업에 착수했다. 9월 본격적인 프로젝트에 돌입한 트위터는 각 서비스와 SW를 세곳의 데이터센터로 분산했다.

이 과정에서 전체 인프라 아키텍처의 세대교체가 단행됐다. 대기열, 데몬, 캐싱, DB 등의 복잡성을 개선하고 유연한 확장성을 확보하는 게 초점이었다. 트위터는 새로운 프로세스에 접근제어, 내구성검사, 배포, 장애해결, 인프라 모니터링을 가능케 하는 SW를 도입했다.

분산처리DB와 외부 게이트웨이를 채용한 아키텍처로 변신했다는 의미다. 야후에 따르면, 트위터는 그동안 데이터 처리를 위해 '하둡(Hadoop)'을 도입하는 작업을 진행했는데, 이것이 비로소 전체에 적용된 것으로 풀이된다.

이전작업은 쉽지 않았다. 트위터는 임시데이터센터와 두번째 데이터센터에 20테라바이트(TB)에 달하는 모든 트윗을 복제·이전했다. 세번째 데이터센터의 준비가 완료된 후 데이터와 서비스를 다시 복제하고서야 이전작업은 완료됐다.

트위터의 고래현상은 중앙집중식 DB를 사용하는 서비스 아키텍처 탓이었다. 각 서비스별 서버를 따로 구성한 것은 구글이나 페이스북과 같지만 일시에 데이터량이 늘어날 경우 대응할 수 없었던 것.

고래와 함께 문제됐던 게 보안 문제였다. 기존 트위터의 아키텍처는 사용자 접근제어와 암호화, 정책설정 등이 어려운 구조다. 서비스 게이트웨이를 외부 API와 연동하지 않기 때문에 보안 위협에 노출됐다는 평가를 받았던 것.

관련기사