"오픈소스 기반 통합 데이터 플랫폼이 필요한 이유"

“한국은 기업의 핵심 자산인 데이터를 퍼블릭 클라우드로 다 가져갈 수 없다. 온프레미스 환경에서 오픈소스 기반의 데이터 플랫폼을 구축하면서 퍼블릭 클라우드스럽게 활용하고자 하는 수요가많다. 그러나 복잡하고 다양한 오픈소스 기술을 기업 자체로 잘 엮어서 활용하기란 쉽지 않다. HPE 에즈메랄은 업계 주류를 형성한 오픈소스 데이터 기술들을 망라해 온프레미스 환경이나 하이브리드 클라우드로 쓸 수 있도록 한 통합 데이터 플랫폼이다.”

한국HPE의 HPE 에즈메랄 솔루션을 담당하는 김일근 상무는 본지와 인터뷰에서 자사의 데이터 플랫폼에 대해 이같이 설명했다.

퍼블릭 클라우드나 데이터 플랫폼 전문업체의 상용 서비스는 사용하기 편리하고 초기 비용을 낮출 수 있지만, 비용과 소유권 문제 등으로 도입에 제약이 있다. 오픈소스 기술은 저렴한 하드웨어로 온전한 통제력을 갖고 활용할 수 있지만, 전문적 기술 역량을 보유해야 하고 표준화와 유지보수의 어려움이 있다.

HPE는 2019년 통합 데이터 플랫폼 브랜드 ‘에즈메랄’을 공개했다. HPE 에즈메랄은 수집, 저장, 처리, 분석 등 일련의 데이터 워크플로우를 구성할 수 있는 다양한 오픈소스 기술을 엮은 플랫폼이다.

HPE 에즈메랄은 크게 ‘데이터 패브릭’으로 명명된 데이터 저장 및 처리 영역과, ‘유니파이드 애널리틱스’로 명명된 데이터 활용 영역으로 이뤄져 있다. 에즈메랄 플랫폼 전반은 쿠버네티스 기반 컨테이너 플랫폼으로 운영된다.

에즈메랄 데이터 패브릭은 파일, 오브젝트, 스트림, 하둡 및 NoSQL 데이터베이스 등 다양한 유형의 데이터를 저장하는 데이터레이크다. 어떤 형태의 API로 데이터를 던져줘도 저장할 수 있다. HPE가 인수한 맵알의 빅데이터 기술을 바탕으로 모든 유형의 데이터를 수용하도록 한다. 데이터레이크의 형식도 유연성있게 고를 수 있다. 델타레이크나 아파치 아이스버그를 선택해도 되고, 익숙한 기존 기술을 활용해도 된다. 데이터 흐름은 카프카다.

쿼리 엔진으로 프레스토나 아파치 스파크를 활용할 수 있다. 데이터 엔지니어링 툴로 에어플로우와 슈퍼셋을 쓸 수 있고, 모니터링과 트레이싱 등을 위한 가시성 도구를 제공하며, 데이터사이언스 툴로 쿠브플로우, ML플로우, Feast, 레이 등을 쓸 수 있다.

김일근 상무는 “아마존 레드시프트, 구글 빅쿼리, 애저 시냅스 등 퍼블릭 클라우드의 데이터 서비스 내부를 보면, HPE 에즈메랄과 거의 같다”며 “온프레미스가 이를 잘 활용하지 못하고 레거시를 답습해온 건 퍼블릭 클라우드에서 활용되는 오픈소스 기술을 안정적으로 제공하는 회사가 없었기 때문”이라고 설명했다.

그는 “HPE는 그동안 저장 영역의 맵알, 컨테이너 및 클라우드 네이티브 기술 영역의 스키테일, 데이터베이스 영역의 암플, ML옵스 영역의 아릭토 등 전문기업을 인수해 고객에게 필요한 데이터 스택을 쌓아왔다”고 말했다.

HPE는 에즈메랄 플랫폼에서 오픈소스 진영의 디펙토 기술을 모두 수용하게 한다는 방침이다. 많은 엔지니어와 개발자를 투입해 오픈소스 기술의 발전 트렌드에 맞춰 고객에게 최신 데이터 플랫폼을 제공한다는 것이다.

김 상무는 “모던 데이터 인프라스트럭처 관점에서 보면 HPE 에즈메랄은 기업에 필요한 기능과 소프트웨어의 청사진을 제공한다”며 “저장과 분석의 영역을 분리하고 컨테이너 기반으로 쉽게 확장, 축소할 수 있게 함으로써 유연한 플랫폼 운영을 가능하게 한다”고 강조했다.

그는 “누군가는 시장의 디펙토 기술을 인큐베이팅하는 역할을 맡아야 한다”며 “HPE는 디펙토 기술을 항상 주시하며 최신 상태로 유지하도록 하는 에버그린 정책을 지향한다”고 말했다.

다양한 기술을 트렌드에 맞게 그때그때 유연하게 채택할 수 있다는 건 장기적 관점으로 투자해야 하는 기업에게 큰 장점이다. 폐쇄적인 플랫폼을 구축하면 시장의 변화 속도에 따라갈 수 없고, 기존 투자를 유지하면서 계속 새 인프라를 따로따로 만들게 된다. 데이터가 이곳저곳에 흩어져 한곳에 모이지 못하는 데이터 사일로 현상은 인공지능(AI) 시대에 기업의 경쟁력을 떨어뜨린다.

김 상무는 “오라클 DB나 스노우플레이크 같은 외부 제품과 서비스도 연동할 수 있다”며 “다른 플랫폼의 컨테이너화된 것을 앱처럼 올려서 쓸 수 있으며, 다양한 커넥터로 외부 데이터 소스를 쉽게 가져올 수 있다”고 말했다.

HPE에게 에즈메랄은 회사의 성격을 바꾸는 솔루션이다. 서버와 스토리지를 중심으로 사업하는 HPE는 오랜 시간 소프트웨어와 서비스 회사로 변신을 시도해왔다. HPE 에즈메랄은 단순히 하드웨어를 공급하는 것을 넘어 데이터 플랫폼을 제공해 소프트웨어 사업의 범위를 넓히게 한다.

HPE는 각 지역의 전문 파트너와 협업해 HPE 에즈메랄과 하드웨어를 고객에게 맞춤 제공하도록 하고 있다. HPE는 오픈소스 기술의 플랫폼 최적화를 맡고, 기업 고객의 실제 맞춤 구축은 파트너에서 맡는 형태다.