구글, 데이터센터 기술 '비밀주의' 풀렸나

분산 네트워크 아키텍처 '주피터패브릭' 소개

구글이 변했다. 수년간 꼭꼭 숨겨 온 자체 데이터센터 인프라 기술의 비밀을 공개하기 시작했다. 페이스북 주도로 시작된 오픈소스 하드웨어 커뮤니티 '오픈컴퓨트프로젝트(OCP)' 생태계의 확산이 내심 부러웠던 건 아닐까?

구글은 지난 17일 구글클라우드플랫폼(GCP) 공식블로그를 통해 바이섹션대역폭(bisection bandwidth)으로 초당 1페타비트(Pbps) 이상을 처리하는 최신 분산 네트워크 아키텍처 '주피터패브릭(Jupiter fabrics)'을 소개했다. (☞링크)

구글이 직접 개발한 주피터패브릭은 현재 구글의 클라우드 서비스 '구글클라우드플랫폼(GCP)'을 떠받치는 네트워크 기술이다. 이에 기반한 네트워크 성능은 단일 데이터센터 기준으로 10년전 쓰였던 '파이어호스(Firehose)'라는 1세대 기술보다 100배 이상 많은 용량을 처리한다.

주피터패브릭이 처리할 수 있다는 1Pbps 대역폭은 어느 정도 데이터 규모를 뜻하는 걸까? 숫자만 놓고 보면 서버 10만대가 동시에 초당 10기가비트(Gbps) 규모 정보를 주고받기에 충분하고, 구글이 클라우드에 스캔해 둔 미국 국회도서관 장서 전체를 읽어들이는 데 0.1초도 채 걸리지 않을만한 수준이다.

구글이 자사 클라우드플랫폼(GCP)에 적용된 최신 네트워크 아키텍처 '주피터패브릭'을 공개했다. 자체 개발한 하드웨어와 소프트웨어, 기존에 데이터센터 인프라에 적용했던 SDN 기술 등을 응용한 결과물로 묘사됐다.

이를 설명한 구글 펠로 겸 네트워킹 부문 테크니컬 리드 아민 바다트(Amin Vahdat)에 따르면 구글의 데이터센터 네트워크는 공유 인프라 구조로, GCP 운영을 위한 환경과 구글의 내부 인프라가 동일한 네트워크를 공유한다. 구글의 인프라에선 회사 네트워크의 안과 밖을 논리적으로만 구별한다는 얘기다.

바다트는 또 "우리 데이터센터 네트워크는 전체 확장 구조에 전례없는 속도를 제공한다"며 "모듈성을 갖춰 최신형 서버의 요구에 알맞게 계속 개선되게 해주며 대다수 인터넷 서비스와 이용자들의 가동시간 요구에 맞는 가용성으로 관리되고 있다"고 설명했다.

그는 구글의 데이터센터 네트워크 설계에 적용한 3대 원칙을 제시했다. 요약하면 고가 장비를 대신할 값싼 스위치 여러 대를 쓸 수 있는 연결 구조, 이를 위한 소프트웨어 기반의 관리 중앙화, 이를 구축하기 위해 자체 개발한 프로토콜과 그에 맞춰 개발된 소프트웨어 및 하드웨어 등이다.

첫째 원칙은 네트워크 연결 형태를 '클로스토폴로지(Clos topology)'에 가깝게 만든 것이다. 이는 소형 저가 스위치 여러대를 뭉쳐서 그보다 더 큰 논리적 스위치로 작동하도록 구성할 수 있는 형태다. 많은 일을 위한 장비를 따로 갖춘 게 아니라, 부담을 나눠 처리하는 구조를 적용했단 뜻이다.

둘째 원칙은 중앙화한 소프트웨어 제어 스택으로 데이터센터에 놓인 스위치 수천대를 관리했다는 것이다. 수천대 스위치를 효율적으로 하나의 거대한 패브릭으로 만든 배경이다. 패브릭의 중요성을 강조하며 효율적인 구성과 제어 수단을 제시하는 네트워크 장비 업계의 경향을 앞선 분위기다.

셋째 원칙은 상용 부품 업체로부터 공급받은 프로세서를 사용해 자체 네트워크 하드웨어 및 소프트웨어를 만들었다는 점이다. 이렇게 한 이유는 구글의 데이터센터에 맞춤형으로 작동할 장비가 필요해서였다. 이 장비는 표준 인터넷프로토콜보다 구글의 자체 프로토콜을 더 많이 활용한다.

바다트는 "우리 네트워크 제어 스택은 라우터 중심으로 돌아가는 기존 인터넷프로토콜보다 구글의 분산컴퓨팅 아키텍처와 닮은 부분이 많다"며 "어떤 면에선 근 10년간 구글에 SDN을 도입해 그 덕을 보고 있다고 말할 수 있다"고 말했다.

그에 따르면 기존 구글의 데이터센터 네트워킹 인프라 구축 경험에서 몇년전 구글이 데이터센터 광역네트워크(WAN) 'B4'에 적용한 SDN이나 지난해 공개한 GCP에 구축된 SDN 네트워크가상화 기술 '안드로메다(Andromeda)', 두 시스템을 위한 아키텍처 아이디어가 도출됐다.

바다트는 "훌륭한 데이터센터 네트워크를 구축하는 건 단지 뛰어난 하드웨어와 소프트웨어를 만드는 것만을 뜻하지 않는다"면서 "시작 단계부터 세계 최고의 네트워크 엔지니어링 및 운영 팀과 협력하는 것을 의미한다"고 강조했다.

이어 그는 "우리는 세계 개발자들에게 이런 역량을 공개한 점을 기쁘게 생각한다"며 "뛰어난 인터넷 서비스나 플랫폼이 세계 정상급 네트워크 인프라를 만들어내는 게 아니라 (이미 구글이 만들어내 존재하는 것을) 이용할 수 있다"고 강조했다.

바다트의 포스팅은 미국 캘리포니아 실리콘밸리에서 진행중인 기술컨퍼런스 '오픈네트워킹서밋(ONS)2015'에서 발표한 내용을 요약한 것이다. 그는 지난해에도 이 행사에서 일부 서비스에 적용했던 안드로메다를, GCP의 일부인 구글컴퓨트엔진(GCE)에도 적용된 SDN 기술로 공개하며 눈길을 끌었다. (☞관련기사)

구글이 직접 개발해 데이터센터에 적용한 인프라 기술을 외부에 소개하는 건 그간의 비밀주의를 깨뜨리려는 시도로 해석된다. 지난 17일 비즈니스인사이더 보도는 구글이 직접 만든 네트워킹 기술을 더 공개적으로 얘기하기 시작했다고 평하고, 이처럼 구글이 태도를 바꾼 이유를 분석했다. (☞링크)

구글이 기술 공개로 입장을 선회한 이유 하나는 거대 라이벌로 성장한 페이스북이란 존재 때문이다. 페이스북은 자체 개발한 기술을 알리기에 거리낌이 없었고 OCP라는 오픈소스 하드웨어 커뮤니티를 꾸려 제조사간 장벽이 둘러쳐 있던 인프라 하드웨어 산업의 판도를 공유형 생태계로 바꿔가고 있다.

OCP는 창설 4년가량이 지난 현재 주동자 페이스북뿐아니라 골드만삭스, 마이크로소프트, 애플까지 참여하는 거대 프로젝트로 성장했다. 여기서 진행 중인 프로젝트는 일부 스타트업의 양분이 됐다. 후원사 페이스북은 구글보다 먼저 공개적으로 자체 개발한 네트워킹 하드웨어의 혁신을 주창해 왔다.

비즈니스인사이더는 구글이 더 일찍부터 자체 하드웨어 인프라 기술을 갖추고 활용해 온 자신들의 자체 기술 공개로 기술적 우월함을, 한편 HTC같은 신규 대형 고객사 확보 소식을 내놓으며 자사 클라우드의 경쟁 우위를 어필했다고 본다. 이게 페이스북과 OCP의 움직임에 대한 대응이란 풀이다.