[기고] 차세대 워크로드의 중심 ‘오브젝트 스토리지’

정부의 디지털 뉴딜에 쏠린 관심이 산업계 안팎에서 뜨겁다. 특히 데이터 산업은 최근 데이터 3법 개정으로 제도 개선이 이뤄지고 있다. 데이터는 다수가 동시에 활용 가능한 비경합성 덕분에 개방 및 공유될수록 가치가 커지지만 일관성 있는 관리와 보안, 보호를 보장하는 것은 어려운 문제이다. 따라서 데이터 경제의 성공은 혁신적이고 창의적인 데이터 활용과 함께 체계적이고 효율적인 데이터 관리가 원활하게 이뤄질 때 가능하다.

■ 비정형 데이터 관리 솔루션 ‘오브젝트 스토리지’ 주목

기업 업무 환경에서 비정형 데이터가 차지하는 비중이 커지면서 데이터 관리의 중요성이 높아지고 있다. 비정형 데이터는 서비스 종류, 분야, 성격 등에 따라 다른 양상을 보이기 때문에 통일된 관리 체계나 보호 방법을 적용하기 어렵다. 이러한 비정형 데이터 운영 관리의 어려움과 효율 저하, 데이터 보호 및 보안, 인프라 비용 부담 문제를 해결하기 위한 대응 방안으로 ‘오브젝트 스토리지’가 주목 받고 있다.

오브젝트 스토리지는 파일에 대한 상세 정보를 포함한 메타 데이터를 활용해 데이터의 저장·관리·1효율을 극대화하는 스토리지다. 오브젝트 스토리지는 기존 스토리지와 근본적으로 다른 접근 방식을 취한다. 파일 스토리지가 데이터를 파일 규칙에 따라 관리하고, 블록 스토리지가 특정 영역과 구간을 나눠 데이터를 블록 단위로 관리하는 것과 달리, 오브젝트 스토리지는 파일 상세 정보를 포함한 메타 데이터를 기준으로 관리하며, 정의된 정책에 의해 관리하기 때문에 대규모 파일 저장소를 쉽고 효율적으로 운영할 수 있다.

오브젝트 스토리지는 수억 또는 수십억 개 파일을 객체(object)화 시켜 고유 ID만 가지고 데이터를 관리해 경제성과 효율성을 구현한다. 데이터 관리, 보호 자동화, 검색을 통한 거버넌스 대응 등 차별화된 확장성도 제공한다. 최근 클라우드가 확산되고 비정형 데이터가 증가하면서 대용량 데이터를 저장하는 최적의 인프라로 인정받으며 오브젝트 스토리지는 보조 스토리지 개념에서 운영 스토리지로 활용 범위가 확장되고 있다.

■ 하이브리드 클라우드, 머신러닝, 데이터레이크 등 차세대 인프라 설계의 핵심으로 부상

확장성과 개방성, 높은 데이터 보호 기능으로 대용량 데이터 저장, 아카이빙, 백업 등 주로 보조 스토리지 영역에서 활용되던 '오브젝트 스토리지'가 클라우드 시대가 가속화 됨에 따라 운영 스토리지의 중심으로 새롭게 주목 받고 있다.

기업은 그 동안 데이터센터에 저장하는 데이터 아키텍처에 맞춰 데이터센터를 설계하고, 주로 정형 데이터 기반의 데이터베이스나 데이터 웨어하우스 방식으로 데이터를 관리해왔다. 하지만 나날이 증가하는 새로운 포맷의 데이터에 대한 활용 요구가 높아짐에 따라, 전통적인 데이터 관리 방식은 한계에 이르렀다.

최근 기존 정형 데이터 소스 외에 센서 데이터, 이미지, 동영상, SNS 메시지 등이 급증하면서 이들을 통합하여 운영할 필요성이 커졌다. 기업은 비정형, 반정형, 정형 데이터를 포함한 모든 형태의 데이터를 통합하여 분석, 서비스할 수 있는 새로운 데이터 운영 방식으로 데이터 레이크(Data Lake)를 채택하고 있다.

10년 넘는 역사를 가진 오브젝트 스토리지 기술은 데이터 분석을 위한 데이터 레이크의 기반 솔루션으로 부상하고 있다. 파일 계층 또는 블록을 규정하는 다른 스토리지 시스템과 비교해 오브젝트 스토리지 플랫폼은 파일을 플랫(flat) 구조로 동등하게 배치해 저장함으로써 효율성과 고성능을 제공한다. 아울러 스토리지 및 컴퓨팅 리소스를 독립적으로 확장할 수 있어 수조 개의 객체 및 엑사바이트(Exabyte)급의 대규모 확장이 가능하다.

오브젝트 스토리지는 인터넷 기반 HTTP 프로토콜을 비롯한 산업 표준 프로토콜을 활용해 언제 어디서든 간단한 설정만으로 데이터를 이동, 저장할 수 있고, 모든 S3 엔드포인트를 지원함으로써 온프레미스는 물론 퍼블릭 클라우드까지 포괄하는 데이터 레이크를 구현할 수 있다. 또한 보안 및 규정 준수, 데이터 수명주기 정책 관리를 지원하며, 자동화된 데이터 무결성 검사를 통해 데이터 거버넌스 및 가용성까지 제공한다.

■ 차세대 워크로드에서 각광받는 ‘HCP’… 다양한 활용방안

효성인포메이션시스템의 대표적인 오브젝트 스토리지 솔루션 ‘HCP(Hitachi Content Platform)’는 대규모 비정형 데이터 환경의 안정적 운영과 공유 서비스를 단일 플랫폼에서 지원한다. 비정형 데이터의 탁월한 저장 관리 기술력을 기반으로 퍼블릭 클라우드, 빅데이터 솔루션 등과 원활한 연계, 오브젝트 스토리지 강점인 유연한 스토리지 용량 추가, 스토리지 관리 비용 절감, 비즈니스 민첩성 향상 등을 제공한다.

HCP는 지능형 데이터 티어링을 통한 하둡 데이터 최적화, 퍼블릭 클라우드 출구 전략 등 빅데이터 분석 플랫폼 ‘펜타호(Pentaho)’와 연계한 새로운 대용량 비정형 데이터 처리 방안으로 주목 받고 있다. 특히 금융, 유통, 물류 등 대용량 비정형 데이터 처리가 필요한 다양한 분야에서 HCP가 데이터 안정성을 확보하면서 고객 만족도를 높이고 있다. 기업들이 HCP를 활용해 업무의 속도를 높일 수 있도록 몇 가지 활용 사례를 소개한다.

1. 지능형 데이터 티어링으로 하둡 데이터 최적화

하둡 분산 파일 시스템(HDFS)은 데이터 블록이 유실 되도 복제본을 활용해 데이터 저장과 관리의 신뢰성을 높일 수 있다. 그러나 데이터 양이 증가하면 하둡 노드를 반드시 증설해야 하고 노드당 부과되는 HDFS 라이선스 비용도 증가한다.

HCP는 HDFS 운영 비용을 줄이고 실시간 분석을 가능하게 한다. HCP의 데이터 최적화 프로그램은 HDFS에 저장된 데이터 중 사용 빈도가 낮은 콜드 데이터(cold data)를 티어링해 HCP에 저장하고, 활성 데이터는 HDFS 리소스에 남겨둔다. HCP와 HDFS를 동적으로 티어링해 모든 데이터를 실시간 액세스함으로써 중단 없는 하둡 데이터의 분석과 운영이 가능하다. 오브젝트 스토리지에 활용도가 낮은 데이터를 보관해 라이선스 비용도 절감할 수 있다.

2. 퍼블릭 클라우드 출구 전략

HCP는 퍼블릭 클라우드에서 발생할 수 있는 위험요소에 대비하도록 지원한다. 최근 금융권에서는 퍼블릭 클라우드 출구 전략이 중요한 이슈로 떠오르고 있다. 이는 퍼블릭 클라우드 사업자의 경영 악화, 데이터센터 장애 등으로 서비스가 갑작스럽게 중단되었을 경우를 대비해 금융감독원이 퍼블릭 클라우드 출구 전략을 마련할 것을 요구한 데 따른 것이다.

HCP는 펜타호와 연계해 다양한 데이터를 수집 및 활용한다. 따라서 금융기관은 자사 전략에 따라 운영 플랫폼과 애플리케이션에 구애받지 않고 온프레미스 환경 또는 다른 퍼블릭 클라우드로 유연하게 전환할 수 있다. 퍼블릭 클라우드에서 운영하는 다양한 콘텐츠와 하둡 애플리케이션 데이터, 컨테이너 운영에 따른 가상 서버 이미지, 데이터 파일 등을 오프로드해 온프레미스 환경에서 복구할 수 있다.

3. DM2C, NAS와 오브젝트 스토리지의 장점 통합한 패키지 솔루션

효성인포메이션시스템은 고성능 NAS와 오브젝트 스토리지의 장점을 통합하고, 클라우드까지 연계 가능한 DM2C(Data Migrator to Cloud) 패키지를 선보이고 있다. DM2C 패키지는 모든 유형의 데이터를 저장 및 관리할 수 있는 통합 플랫폼이다.

DM2C 패키지는 별도의 백업이 필요 없으며 필요 시 NAS 복제 방식을 통해 소요 시간과 용량을 대폭 줄여준다. 단일 파일 최대 사이즈 제약이나 디렉토리 파일 개수에 제약이 없으며, 별도의 애플리케이션 개발이나 연동 과정 없이 바로 적용이 가능하다. DM2C 패키지는 공공, 금융, 통신, 제조, 병원, 미디어 등 전 산업분야에 걸쳐 다양하게 활용되고 있다.