용량으로 승부하던 NAS, 관점이 달라졌다

스케일아웃 파일 스토리지, HPE 큐뮬로(Qumulo)

페타바이트(PB) 시대다. 1테라바이트(TB)급 휴대폰도 나오는데 기업에서 저장하고 관리하는 데이터 양은 기하급수적으로 증가하고 있다. 양만 느는 게 아니다. 데이터 활용도 더 잦아지고, 많아졌다.

대부분의 기업이 중요 정보를 블록 스토리지에 담고, 상대적으로 덜 중요한 데이터를 담는데 파일 스토리지를 써왔다. 그렇게 수십년째 기업용 외장 스토리지 시장은 SAN(블록)과 NAS(파일)로 구분됐다. 블록 스토리지는 계속 진화해왔던 반면, 파일 스토리지는 첫 등장 후 20년 넘도록 별반 달라지지 않았다. 많은 양의 파일을 잘 담기만 하면 그만이었기 때문이다.

이제 파일 스토리지의 지위는 달라졌다. 빅데이터, 머신러닝(ML), 인공지능(AI) 등으로 비정형 데이터가 분석 영역에 포함되면서, 파일 스토리지에 담겼던 각종 문서, 미디어 등이 기업 핵심 자산으로 대접받고 있다. 특히 동영상 파일의 비중과 중요성이 더 커졌다. 파일 스토리지는 최신 IT기술을 활용하는 기반 인프라기 때문에 많은 양을 저장하면서도 확장성과 고성능을 모두 제공해야 하는 위치에 있다.

1995년 첫 등장한 파일스토리지는 성능 측면에서 약점을 갖는다. 쉽게 확장할 수 있지만, 규모가 커질수록 파일을 검색하고, 활용할 때 성능이 급격히 떨어진다. 3D 영화로 제작되는 제임스 카메론 감독의 ‘아바타2’의 경우 10PB에 달하는 스토리지를 요구한다. 빠른 성능을 요하는 3D 렌더링에서 파일 스토리지의 느린 성능은 영화 제작사에게 큰 손실이다.

이런 가운데 휴렛팩커드엔터프라이즈(HPE)는 기존 파일 스토리지의 틀을 깬 ‘큐뮬로(Qumulo)’란 제품을 들고 나왔다. 큐뮬로는 아이실론 핵심 개발자 18명이 창업한 스타트업으로, HPE가 투자하고 판매중이다. 큐뮬로는 스스로를 ‘스케일아웃 파일 스토리지’란 독특한 수식어로 표현된다.

한국HPE 스토리지사업부 박재현 차장은 “5G SNS. IoT 센서데이터, 사진, 4K 동영상 등 비정형 데이터 규모가 급증하고 있다”며 “고화질 고용량 데이터가 기업에 계속 쌓여가는데, 몇십 몇백 PB 정도의 데이터를 어떻게 관리할 지 고민이란 기업이 매우 많다”고 설명했다.

박재현 차장은 “스케일아웃 파일 스토리지로 표현되는 큐뮬로는 여러 명의 사람이 동시접속해야 하거나, 비정형 데이터를 가장 쉽게 저장할 수 있도록 오브젝트의 장점과 파일스토리지의 장점, 블록 스토리지의 장점까지 결합했다”며 “블록처럼 저장 매커니즘이 간단하면서, 여러 클라이언트가 동

시 접속 가능한 파일시스템을 갖고 있고, 단일 네임 스페이스로 몇백 PB까지 분산 저장할 수 있다”고 강조했다.

블록, 파일, 오브젝트 등 스토리지 유형별 특징

외장형 스토리지 영역은 크게 블록, 파일, 오브젝트 등으로 나뉜다. 블록 스토리지는 파일시스템이 클라이언트에 있고 저장공간만 갖는다. 블록 단위로 저장하고 고성능 컨트롤러로 빠른 응답속돌르 제공한다. 단, 서버 각각에 저장공간을 제공해야 하고 확장하기 어렵다는 단점을 갖는다. 파일 스토리지는 파일시스템을 스토리지쪽에 두고, 어떤 앱이든 프로토콜만 제공하면 접근해 쉽게 저장하는 장점을 가졌다. 그러나 파일 개수와 클라이언트 개수가 많아지면 성능 저하를 보이는 문제점을 갖는다. 오브젝트 스토리지는 여러 클라이언트가 접근해 쓰면서 낮은 비용으로 대용량을 저장할 수 있다. 단, 데이터 변경 작업 시 오래걸리고, 데이터가 많아지면 스토리지에서 파일의 위치를 찾기 어렵다.

박 차장은 “큐뮬로는 블록을 구획해 데이터를 bstore pstore 형태로 저장하며, 트리워크(Treewalk)란 디렉토리 구조를 배제해 파일 개수가 몇십만, 몇십억개 되더라도 파일에 접근하는데 3단계 내에서 찾을 수 있다”며 “RAID 방식을 쓰지 않고, 이레이저코딩 방식으로 데이터를 더 효율적으로 재작성하고 복구한다”고 설명했다.

그는 “무엇보다, 수백PB로 확장하고, 조 단위로 파일 개수를 늘려도 파일을 읽고 처리하는데 성능이 떨어지지 않는다”며 “대용량 파일 관리의 예측이 편리하며, 낭비가 적은 데이터 저장 방식으로효율성을 높였다”고 강조했다.

그는 “스케일아웃 파일 스토리지를 기차로 비유하면, 객실인 데이터 공간 사이사이에 동력이 있다”며 “기존 NAS는 이중화된 컨트롤러에서 디스크와 파일을 관리하는데, 처음엔 좋지만, PB 규모로 커지면, 성능이 떨어지기 시작하는데, 큐뮬로는 5PB 이상에서도 성능이 떨어지지 않는다”고 덧붙였다.

큐뮬로의 아키텍처는 현재 시장에 존재하는 파일 스토리지 가운데 가장 어리다. 2015년에 개발됐다. 20년 전 만들어진 기존 파일 스토리지보다 아키텍처 측면에서 최첨단에 해당한다. 큐뮬로는 가트너 매직쿼드런트 ‘하이브리드 클라우드 파일 스토리지’ 영역에서 2016년 니치플레이어로 첫등장했다. 2018년부터 리더 그룹에 포함될 정도로 빠르게 성장했다. 미국에서 제품 우수성을 고객이 평가하는 ‘넷프로모터스코어(NPS)’에서 100점 만점에 87점을 받을 정도로 고객 만족도가 높다. 참고로 애플, 아마존, 넷플릭스 등의 NPS가 70점 내외다.

HPE 큐뮬로 하드웨어. 디스크 슬롯이 이중으로 돼 있어, 앞면의 슬롯을 위로 젖혀 뒷면의 슬롯을 쓸 수 있다.

한국HPE 스토리지사업부 이승국 상무는 “과거 TB 규모로 시작하던 기업의 스토리지 구축이 이제 3~4 PB 이상의 규모로 커졌다”며 “시장에 이정도 용량을 성능을 유지하며 수용하는 파일 스토리지는 없다”고 강조했다.

HPE가 큐뮬로를 본격적으로 판매하기 시작한 건 2년전부터다. 영화, 방송 등 미디어 업계의 대형기업이 주로 큐뮬로를 도입하기 시작했는데, 이후 자동차, 금융, 에너지 유틸리티, 의료 등 다양한 엔터프라이즈 기업에서 도입했다.

한국HPE는 올해 2월부터 큐뮬로 영업을 본격화했다. 100 TB부터 12PB 급 용량의 시장을 큐뮬로로공략한다는 방침이다. 제조업의 IoT 데이터, HPC, 미디어엔터테인먼트(M&E), 게임, 헬스케어 PACS 이미지, 유전체 검사. 스마트 비디오 감시 등의 분야를 목표로 삼았다. 반년도 안돼 미디어 기업과 인터넷금융 기업, 에너지기업 등을 고객사로 확보했고, 새 계약 논의가 이어지고 있다.

박 차장은 스케일아웃 파일 스토리지 도입 시 고려사항 6가지를 제시했다. 이중화를 고려한 하드웨어 아키텍처, 개별 디스크 교체 가능여부, PB급 스토리지를 지원하기 위해 개발된 아키텍처, PB급 스토리지에서도 실시간 분석 가능한 관리 툴, 데이터 효율성, 단일화된 라이선스 정책 등이다.

큐뮬로는 디스크 장애 시 서비스 중단 없이 개별 디스크를 교체할 수 있다. 메타데이터 기반으로 파일을 관리하는 ‘비트리(Btree)’란 독자적 아키텍처로 최소 3단계 이내의 파일 접근을 가능하게 한다. 큐뮬로의 파일시스템은 110억개 파일의 위치를 한눈에 볼 수 있게 하며, 할당 공간, 파일 개수 변화 등을 한눈에 확인하고, 스냅샷 삭제 시 바로 용량을 확보할 수 있다. 단일 디렉토리 내 최대 파일 개수는 42억 5천개, 단일 파일 최대 크기 9엑사바이트(EB), 최대 저장 파일 개수가 1천800경개에 이른다.

큐뮬로 관리툴

관리툴은 데이터 접근과 활용의 정도를 분석할 수 있다. 이를 통해 정해진 시점과 상황에 데이터를 삭제하고, 필요없는 데이터를 쓰는 사람에게 알려줄 수 있으며, 이를 통해 데이터 관리 거버넌스가 체계적으로 운용될 수 있다. HPE의 모든 스토리지처럼 큐뮬로에 필요한 모든 소프트웨어 라이선스는 하나로 통합돼 있어, 모든 관련 기능을 단일 라이선스로 이용할 수 있다.

큐뮬로의 하드웨어 아키텍처는 HPE 아폴로4200을 기반으로 하며, 2U 섀시면서 두개의 디스크 슬롯이 중첩돼 2배의 집적도를 제공한다. 컨트롤러는 최신 인텔 CPU 기반의 HPE 프로라이언트 Gen10을 활용한다. 네트워크, 전원, 관리영역 등 모든 요소를 이중화할 수 있다.

모델은 90 TB, 192 TB, 336 TB 등 노드당 용량을 기준으로 3가지다. 90 TB와 192TB 모델은 성능에, 336TB 모델은 성능보다 용량에 집중했다.

박재현 차장은 “이제 NAS를 바라보는 관점이 달라져야 한다”며 “큐뮬로 고객사례가 초기엔 미디어를 목표로 삼았는데, 점차 시간이 흐를수록 일반 엔터프라이즈로 확장되고 있다는 것은 파일 스토리지 시장이 새로 시작되고 있다는 증거”라고 강조했다.