쿠버네티스에 별도 데이터 계층이 필요한 이유

[인터뷰] 멀리 티루말레 퓨어스토리지 포트웍스부문 부사장

[라스베이거스(미국)=김우용 기자] “쿠버네티스는 기본적으로 로컬 스토리지에서 출발했습니다. 쿠버네티스의 컨테이너스토리지인터페이스(CSI)가 외부 스토리지를 위한 요소지만, 쿠버네티스는 어디까지나 내장 스토리지 지원을 우선합니다. 실제 고객의 쿠버네티스 환경에서 컨테이너는 하나의 노드에서 실행되지 않고 여러 노드에 배포되고 실행되며, 모든 노드에서 데이터를 사용할 수 있어야 합니다. 따라서 쿠버네티스는 모든 노드에서의 스토리지 지속성이라는 기능을 제공하기 위해 포트웍스와 같은 확장을 필요로 합니다.”

멀리 티루말레 퓨어스토리지 포트웍스부문 부사장은 15일(현지시간) 미국 라스베이거스에서 가진본지와 인터뷰에서 클라우드 네이티브 환경을 위한 스토리지 플랫폼 ‘포트웍스’의 존재 이유를 이같이 밝혔다.

멀리 티루말레 부사장은 “재해복구, 백업 같은 기능은 쿠버네티스에 내장돼 있지 않고, 스토리지의 기능”이라며 “포트웍스는 기존 스토리지와 쿠버네티스 사이에 위치하는 소프트웨어를 제공하고, 쿠버네티스를 확장해 단일 로컬 스토리지가 아닌 분산 스토리지를 관리할 수 있도록 한다”고 설명했다.

멀리 티루말레 퓨어스토리지 포트웍스부문 부사장

그에 따르면, 쿠버네티스의 데이터 스토리지 기능은 컴퓨트 노드에 내장된 매체를 고려해 설계됐다. 이후 CSI란 외장 스토리지 연동 기능이 제공되기 시작했는데, 퓨어스토리지 플래시어레이 같은 기업용 스토리지 제품은 CSI 드라이버를 내장해 쿠버네티스의 데이터 스토리지 계층으로 마운트되도록 하고 있다.

포트웍스는 일종의 데이터 컨트롤 플레인이다. 쿠버네티스와 컨테이너 기반 애플리케이션, 그리고 스토리지 사이에서 데이터 서비스를 원활히 유지하고, 배포할 수 있게 지원한다.

특히 개념검증(POC) 단계에서 엔터프라이즈급 프로덕션 단계로 넘어갈 때 발생하는 여러 문제점을 해결하는데 중점을 둔다.

티루말레 부사장은 “개념증명 단계에서 대부분의 일은 컴퓨트, 네트워킹, 애플리케이션 등의 스택을 위 아래로 연결해 본질적으로 작동시키게 하는 것이지만, 프로덕션으로 이동하면 스케일아웃이 더 중요해진다”며 “대규모 프로덕션 환경에서 성능도 확보해야 하고, 노드 증가에 따른 가용성과 안정성도 걱정하게 된다”고 설명했다.

그는 “성능, 가용성, 안정성은 컨테이너 확장 시 발생하는 문제로, 여러 오픈소스 쿠버네티스와 컨테이너 기술이 혁신에 초점을 맞추므로 엔터프라이즈급 규모에서 작동하도록 설계되지 않았다”며 “우리는 매직 넘버를 25 노드로 보는데, 노드가 25개 이상으로 커지면 모든 면에서 규모의 문제가 발생하기 시작한다”고 설명했다.

그는 “원하는 성능을 얻을 수 없으며, 충분한 비용을 공급할 수 없으며, 충분한 용량을 공급할 수 없다”며 “또한, 가용성 미비로 사용자는 사용가능한 리소스의 부재를 발견하게 되고, 또한 항상 스택에서 노드의 실패가 나타나는 신뢰성 문제도 있는데 이런 문제를 쉽게 해결할 수 없다”고 덧붙였다.

포트웍스는 다양한 형태의 쿠버네티스 재해복구를 제공한다. 일부 노드의 장애발생 시 백업 노드가 활성화되면, 스토리지 내 데이터 연결이 끊김없이 이뤄져야 한다. 백업 노드가 데이터의 위치를 상실하면 해당 노드의 서비스는 실패한다.

그는 “재해 복구 상황은 사이트를 원격의 다른 사이트로 이동하는 것, 스테이트를 롤백하는 것 두 가지 유형이 있다”며 “대부분의 금융 기관, 소매 회사, 서비스 제공 업체는 원격지 백업 유형의 기능을 사용해 사이트를 복구하며, 활성 롤백은 현대화된 앱에서 스택의 새버전 업데이트에 따른 문제 발생시 정상적으로 작동하는 버전으로 되돌리는 것”이라고 말했다.

그는 “쿠버네티스는 여러 릴리스를 내보내고, 포스트그레스 같은 스택도 빠르게 변화하는 상황에서, 항상 새로운 릴리스가 내 환경으로 들어오기 때문에 프로덕션에 문제 발생 시 대부분의 고객은 이전 버전의 스택으로 롤백할 수 있기를 원한다”며 “포트웍스는 프로덕션 자체에서 활성 롤백을 수행할 수 있도록 하는 백업 제품으로 작동하므로, 제로 RPO 유형을 달성할 수 있다”고 덧붙였다.

그는 컨테이너 내에 로직과 데이터를 함께 두는 ‘스테이트풀’ 환경에서 데이터 복구에 대해서도 조언했다.

그는 “쿠버네티스와 함께 기존 백업 솔루션을 사용하려 할 때 가장 큰 문제는 작동하지 않는다는 것”이라고 단언했다.

그는 “컨테이너는 하나의 노드에서 모두 실행되지 않고, 하나의 앱은 10개 혹은 그 이상의 서로 다른 컨테이너, 마이크로서비스로 만들어진다”며 “컨테이너는 어디든 갈 수 있고, 컨테이너 모델은 완전히 분산돼 있어서, 정의에 따라 충돌 발생 시 쿠버네티스는 배치된 POD 사양과 모든 노드의 컨테이너 배치 위치를 알아야 한다”고 설명했다.

그는 “기존 백업 프로그램은 쿠버네티스를 인식하지 못하기 때문에 각 컨테이너가 어디로 갔는지 모르고 이전 상태로 복구 할 수 없다”며 “컨테이너화된 환경에서 백업 프로그램은 쿠버네티스를 인식해야 하고, 앱, 데이터, 쿠버네티스 등 세가치 측면을 모두 인식해야 한다”고 말했다.

여기서 3D 스냅샷이란 포트웍스의 기능이 나온다. 포트웍스는 애플리케이션, 데이터, 쿠버네티스 등에 대한 세가지 스냅샷을 동시에 유지한다.

티루말레 부사장은 “포트웍스의 3D 스냅샷은 앱의 상태와 데이터의 상태를 지정 시간마다 백업할뿐 아니라, 쿠버네티스 환경의 상태도 스냅샷을 생성해 장애 발생 시 모든 것을 다시 복구할 수 있게 한다”고 밝혔다.

쿠버네티스는 클라우드 네이티브 세대에게 익숙한 기술이지만, IT 업무 종사자의 유형에 따라 숙련도에서 큰 격차를 드러내고 있다. 쿠버네티스에 익숙한 개발자는 데이터베이스나 스토리지 볼륨을 잘 모르고, 반면 데이터베이스와 스토리지 전문가는 쿠버네티스를 잘 알지 못하는 것이다. 이 격차는 여러 문제를 초래할 수 있어 기업의 가장 큰 고민거리다.

티루말레 부사장은 “2014 년 쿠버네티스 솔루션을 수행하며 그 문제를 확인했고, 최근에 포트웍스 데이터 서비스(PDS)란 제품을 출시해 해결하려 시도하고 있다”며 “PDS의 목표는 DB를 쿠버네티스 내에서 서비스 형태로 쉽게 배포하도록 만드는 것이고, 포스트그레스, 카프카, 레디스, 몽고DB 같은 DB를 서비스로 활용해 관리자와 개발자 모두 쿠버네티스의 복잡성을 해소하게 한다”고 말했다.

그는 “현재 11개의 데이터 서비스를 출시했고, 아마존 RDS와 유사하게 쿠버네티스 내에서 사용할 수 있는 데이터 서비스의 성능, DB 구성, 패치 업그레이드와 스토리지를 포트웍스에서 알아서 처리한다”며 “대부분의 사람은 DB를 관리하기보다 그것으로부터 이익을 얻기를 원하므로, 포트웍스가 그들이 있는 곳에서 전문가로서 도움을 주는 것”이라고 강조했다.

퓨어스토리지는 2020년 포트웍스를 인수했다. 이후 3년간 퓨어스토리지와 포트웍스의 연동, 최적화, 통합 작업이 이뤄져왔다. 포트웍스는 기본적으로 클라우드 네이티브 애플리케이션을 위한 데이터 계층이면서, 멀티 클라우드 환경을 지원하는 서비스형 데이터(DaaS)기도 하다. 올플래시로 온프레미스 데이터센터의 성능향상과 공간절약, 에너지 절감 등의 효과를 제공하는 퓨어스토리지 제품과 포트웍스 사이의 시너지 효과를 물어봤다.

티루말레 부사장은 “포트웍스 고객의 대부분은 컨테이너 기반의 최신 앱을 사용하고, 빠른 속도의 개발과 배포를 강조한다”며 “덜 사용되고 성능 낮은 애플리케이션은 컨테이너화되지 않으며, 많이 사용되고 빠르게 확장되는 애플리케이션이 컨테이너를 사용한다”고 말했다.

그는 “포트웍스는 플래시블레이드나 플래시어레이의 최적화를 수행하면서, 고도로 최적화된 CSI 드라이버를 만들어 제공했고, 이는 쿠버네티스 환경을  플래시어레이와 플래시블레이드로 구동할 때 최대 성능을 얻게 해준다”며 ” 플래시어레이와 플래시블레이드의 모니터링과 포트웍스의 모니터링을 하나의 창에서 수행하게 됐다”고 밝혔다.

그는 “아프로 더 많은 많은 통합을 보게 될 것이며, 앞으로 몇 분기 안에 그것을 발표할 것”이라며 “가장 큰 시너지 효과는 포트웍스와 퓨어스토리지가 많은 공통 고객을 공유한다는 점이며, 그를 통해 조달 시너지 효과를 낼 수 있다”고 강조했다.