[기고] 데이터 경제 시대 이끄는 ‘오브젝트 스토리지’

김도진 효성인포메이션시스템 데이터사업팀 차장

디지털 시대가 부상하면서 데이터를 적재적소에 배치하는 일은 더욱 어려워졌다. 신기술과 써드파티 애플리케이션, 모바일 디바이스의 폭발적 증가는 데이터가 어디에나 존재하며 끊임없이 변화함을 의미한다. 전체 데이터의 가시성 확보 및 안전한 유지와 제어는 기업들이 시급히 해결해야 할 과제다.

효성인포메이션시스템 데이터사업팀 김도진 차장

지금은 데이터가 기업 성패를 좌우하는 '데이터 경제' 시대다. 데이터는 날로 폭증하고 가치가 더 높아지고 있다. 글로벌리서치업체 스태티스타에 따르면 전 세계 데이터 발생 규모는 연평균 26%의 성장률을 기록해 2024년까지 149제타바이트(ZB)에 이를 전망이다.

데이터가 폭증하는 데이터 경제 시대 기업들의 인프라 비용도 증가하고 있다. 많은 기업이 퍼블릭 클라우드를 도입한 가운데 최근 데이터 증가에 효과적인 대응 방안으로 데이터 레이크가 주목받고 있다. 그간 퍼블릭 클라우드에서 일반적으로 사용된 데이터 레이크가 온프레미스 환경으로 영역을 확장하고 있다.

차세대 데이터 레이크 환경 구현에 최적화된 것이 오브젝트 스토리지다. 기업은 오브젝트 스토리지를 데이터 레이크의 저장소로 활용해 고유의 데이터 전략을 자유롭게 펼칠 수 있다.

■ 클라우드 오브젝트 스토리지의 표준

오브젝트 스토리지는 수많은 데이터를 효율적으로 저장 및 관리하고, 데이터 분류, 검색, 빅데이터 분석 등 다양한 용도에 맞게 활용함으로써 기업이 급속도로 변화하는 IT 트렌드 흐름에 맞춰 데이터 기반의 인사이트를 도출할 수 있도록 해준다.

또한, 오브젝트 스토리지는 다양한 서비스를 지원하며 기술∙확장성과 같은 변화에도 즉각 대응할 수 있다. 리소스 요청을 대폭 줄여 자체 테이프 기반 백업 또는 플랫폼에 연결된 엣지 디바이스 백업이 필요 없는, 한 마디로 광범위한 데이터 관리, 데이터 보호 그리고 콘텐츠 보호 기술이 구현된 경제적인 솔루션이다.

특히 진화된 오브젝트 스토리지는 기존 콘텐츠 위주의 애플리케이션과 새롭게 등장한 클라우드 활용 및 워크로드를 동시에 지원하는 이상적인 에코시스템으로 활용 가능하다. 기업 환경에 맞게 하이브리드 클라우드를 안전하게 통합함으로써 변화에 신속하게 대응할 수 있고 비용도 최적화할 수 있다.

■ 오브젝트 스토리지의 무궁무진한 기능

오브젝트 스토리지는 포괄적인 기능 셋으로 구성되어 기업이 다양한 소스와 미디어 타입에 구애 받지 않고 정보를 취합하고 추적할 수 있도록 해준다. 이를 통해 액세스, 검색, 분석이 간소화되기 때문에 관리가 간편하고 데이터 보호 수준이 향상되며, 비용도 절감할 수 있다. 오브젝트 스토리지의 기능과 활용분야는 무궁무진하다.

1. 아카이빙: 오브젝트 스토리지의 보편적이면서도 매우 중요한 기능이다. 별도의 백업을 하지 않아도 고급 데이터 보호 유지와 확장이 가능해 경제적이며, 수백개의 서로 다른 애플리케이션과 통합하여 의료 기록, 이미지, 파일 시스템의 비활성 파일 등 다양한 종류의 데이터를 보관할 수 있다.

2. 컴플라이언스 준수 및 검색: 오브젝트 스토리지는 보존 관리, 법적 보류, 자동 데이터 처리를 위한 향상된 기능 셋으로 아카이빙에 가치를 더한다. 또한 내장된 사용자 지정 메타데이터 쿼리와 콘텐츠 인텔리전스 등 애플리케이션을 통한 콘텐츠 검색 기능을 결합할 수 있다.

3. 백업 감소와 최적화: 오브젝트 스토리지는 압축, 효과적인 데이터 보호, 빨라진 데이터 회수율을 통해 백업 스토리지 이상의 가치를 제공한다. 테이프 또는 고가의 블록 중복제거 어플라이언스와 비교할 수 없는 성능으로 만족도를 높여준다.

4. 클라우드 애플리케이션을 위한 스토리지: 새로운 애플리케이션의 대부분이 웹이나 클라우드와 친숙한 REST 및 아마존 S3 API로 개발된다. 주요 타깃은 프라이빗, 퍼블릭 또는 하이브리드 클라우드 스토리지다. 오브젝트 스토리지는 이러한 API를 제공하는 가장 보편적인 솔루션으로 풍부한 메타데이터 셋을 개별 파일처럼 연계할 수 있으며, 간단하면서도 수평적인 확장이 가능하도록 스토리지를 최적화한다.

5. 비정형 데이터 관리 및 하이브리드 클라우드 연결: 오브젝트 스토리지는 정책 기반 데이터 관리 지원에 탁월하다. 정책은 데이터를 클러스터 내 서로 다른 수준의 스토리지 간, 또는 클러스터 외부, 즉 아마존, MS 애저, 구글 등 하나 이상의 퍼블릭 클라우드 서비스로 이동하는 것이다. 오브젝트 스토리지는REST 애플리케이션에 적합한 API 추출 레벨을 제공하는 한편, 이들 서비스 간 데이터를 이동해 클라우드 서비스 중개자 역할을 한다.

6. 클라우드 서비스 지원: 오브젝트 스토리지는 다양한 종류의 REST API와 서비스 차별화 기능을 제공한다. 파일 동기화 및 공유 솔루션, 파일 클라우드 게이트웨이 솔루션, 고도화된 검색과 분석 솔루션 등 모든 클라우드 서비스를 신속하게 시작할 수 있도록 지원한다.

7. 빅데이터 스토리지: 오브젝트 스토리지는 빅데이터를 안전하고 효과적으로 저장하는 솔루션이다. 첨단 메타데이터 아키텍처는 비정형 데이터를 정형화해 분석 애플리케이션이 특정 데이터 서브 셋에 대해 쿼리를 수행할 수 있도록 지원함으로써 분석 효율을 높인다.

효성인포메이션시스템은 HCP 포트폴리오를 통해 고객들의 데이터 혁신을 지원한다. HCP는 단일 시스템에서 선도적인 API, 수천 개의 테넌츠, 수만 개의 네임스페이스, PB 용량을 지원할 뿐 아니라 업계 최고의 퍼블릭 클라우드 서비스와 통합된 하이브리드 클라우드를 지원하는, 명실상부한 클라우드 레디 솔루션이다.

HCP 포트폴리오의 활용방안

■ 대규모 데이터 웨어하우스 환경에서의 차세대 서비스 방안

불과 몇 년 전만 해도 국내에서 오브젝트 스토리지는 금융기업의 컴플라이언스, 거버넌스 대응, 공공기관의 데이터 영구 보관을 위한 아카이빙, 정책 기반 데이터 운영이 주 목적인 보조 스토리지 개념이었다. 그러나 최근 하둡, 빅데이터 분석, 정보계 응용 같은 활용 사례가 증가하고 있다. 오브젝트 스토리지 기반의 데이터 레이크를 구축한 두 가지 사례를 살펴보자.

규모가 큰 데이터 웨어하우스 환경을 갖춘 A사는 차세대 시스템에 어울리는 아키텍처 도입, 갈수록 늘어나는 데이터 마트 서비스 요구를 소화할 방법, 그리고 기존 운영 환경의 변화 없이 운영 비용을 절감할 방안을 고민했다.

효성인포메이션시스템은 A사를 위해 HCP 기반의 데이터 레이크 구축 전략을 세 가지 수립했다. 먼저 웜(Warm) 데이터를 오브젝트 스토리지로 전환함으로써 DW 시스템의 운영 리소스를 확보하고 비용 절감 효과를 거둘 수 있었다. 둘째, 오브젝트 스토리지로 필요한 데이터를 전환하고 서비스를 제공함으로써 소프트웨어의 데이터 마트 운영 부담을 낮췄다. 이로써 A사는 데이터 웨어하우스의 운영 효율성을 높이고 새로운 서비스 방향까지 수립할 수 있었다. 마지막으로 기존 정책은 유지하면서 오브젝트 스토리지 기반으로 데이터 복구 체계를 전환함으로써 더 높은 수준의 데이터 활용 환경으로 진화했다.

■ HCP 기반 데이터 레이크 구현으로 오픈소스 한계 정복

B사는 늘어나는 데이터 수요를 감당하면서도 성능과 확장성을 확보하고, 컨테이너와 사용자 관리를 쉽게 하며, 비용 절감을 위해 스위프트를 도입했지만 투자대비효과(ROI)가 생각보다 높지 않아 고민이었다.

효성인포메이션시스템은 B사를 위해 세 가지 전략을 수립하고 HCP 기반 데이터 레이크를 구축했다. 먼저, 데이터 및 서비스 수요 증가에 대응할 수 있도록 HCP를 도입함으로써 데이터 서비스 성능을 확보했다. 둘째, 인프라가 하나의 데이터센터에 집중된 환경을 3개 데이터센터 환경으로 개선하는 인프라 계획을 수립함으로써 스위프트 오브젝트 스토리지의 한계를 극복했다. 셋째, 단순한 저장소와 권한 관리 체계를 확보함으로써 오브젝트 스토리지의 운영 효율성을 개선했다. 이로써 B사는 HCP 도입을 통해 스위프트 환경 대비 데이터 보호 비용을 절감할 수 있었다.

인프라는 설치만으로 끝이 아니며, 고객사의 전체 환경과 인프라를 고려한 단일 벤더의 통합 지원을 통해 완벽한 효과를 발휘할 수 있다. 효성인포메이션시스템은 오브젝트 스토리지 기반의 데이터 레이크 환경 구현으로, 고객이 새로운 데이터 관리 시대를 선도할 수 있도록 지원할 계획이다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.