[기고] 최적의 콜드 스토리지 전략을 위해 고려해야 할 사항

많은 기업들이 데이터의 가치를 디지털 혁신의 수단으로 인식하고 있다. 데이터는 가치를 구현하고, 새로운 수익원을 창출하며, 전략적 방향을 제시하는 핵심적인 수단이다. 그러나 데이터에는 수명주기가 있다. '핫(hot)’ 데이터는 활발히 사용되는 데이터로 고성능 액세스가 필요한 반면, '웜(warm)' 데이터는 일정 기간 동안에만 자주 액세스된다. ‘콜드(Cold)’ 데이터는 자주 액세스하지 않거나 전혀 액세스하지 않는 비활성 데이터이다. 업계 분석가들은 저장된 모든 데이터의 60%가 콜드 데이터라고 예상하고 있다.

일반적으로 콜드 데이터는 몇 년간 보존해야 하는 규제사항 또는 사내 컴플라이언스 정책을 충족하기 위한 데이터로 한정되어 왔다. 데이터는 보통 테이프 미디어에 기록되고, 오프라인 상태가 된 후 데이터에 다시 액세스해야 하는 흔치 않은 경우를 대비해 스토리지 미디어로 이동했다. 그러나 이제는 그렇지 않다. 이제 기업들이 콜드 데이터를 보존하는 이유는 데이터 저장을 요구받아서가 아니라, 데이터가 고유하고 잠재적인 가치를 지닌 것으로 인식하고 있기 때문이다.

콜드 데이터의 가치가 인정받으면서 콜드 스토리지 전략에도 변화가 생기고 있다. 모든 것이 디지털화됨에 따라, 센서의 끊임없는 데이터 수집, 대용량 비디오 및 이미지 소스, 데이터 집약적인 요구사항 및 데이터 분석, AI 및 딥 러닝 워크로드의 주기적인 재보정 등 저장해야 하는 콜드 데이터의 양이 계속 증가하고 있으며, 그 적용과 사용 사례는 계속 늘어날 것이다.

그렇다면 최적의 콜드 스토리지 전략을 위해 고려해야 할 사항은 무엇일까?

첫째, 예산 및 기술 제한성이다. 데이터 스토리지 요구사항은 계속 증가하지만 IT 예산은 제한적이다. 더욱이, SSD는 향후 몇 년간 현재 HDD의 비용과 용량 특성에 근접하게 될 것이지만, HDD 밀도 증가는 완만한 성장세에 있다. 이에 보다 저렴한 랜덤-액세스 스토리지 계층에 대한 옵션이 없다. 이는 비용을 절감하면서 접근성을 유지하는 가장 효과적인 전략이었다. DNA 기반 스토리지는 가능성은 있지만 널리 채택되고 상용화된 지 몇 년밖에 되지 않았으며 콜드 아카이브 중 가장 콜드한 데이터에만 적합하다. (즉, 인코딩하기는 비교적 간단하지만 읽기는 어렵다). 대규모 클라우드 제공업체들은 이러한 제약을 해결하기 위해 속도는 느리지만 저렴한 미디어를 활용해야 한다는 점을 인식하고 있다.

둘째, 영구적 아카이빙이다. 형식과 주제에 관계없이 거의 모든 지식이 디지털화되고 있다. 데이터는 시간적 연관성과 미래 가치를 위해 보존되어야 한다. 연구 데이터, 의료 기록, 미디어 콘텐츠, 게놈 데이터 및 AI/ML 모델링 데이터는 모두 수년, 수십 년간 보존해야 하는 데이터들이다. 콜드 스토리지는 수십 년간 보호되고 내구성이 우수해야 하며, 자가 치유(self-healing) 기능이 지원돼야 한다.

셋째, 가치 창출 및 혁신을 위한 무제한 온라인 액세스이다. 증가하는 데이터 스토어에서 가치를 찾아내는 일은 점점 더 어려워지고 있다. 가치를 찾아내려면 보유한 데이터가 무엇인지 알아야 하고, 관련된 부분을 찾아 재구성할 수 있어야 한다. 관련성을 유지하고 확장하려면 데이터에 대한 더 많은 데이터(메타데이터)가 필요하고, 지속적인 개선을 위해 사전에 그리고 시간에 따른 데이터 자체 분석 및 보강이 필요하다. 이를 위해서는 장기간 데이터에 대한 용이한 액세스가 보장되어야 한다. 현재 기업들은 비용 제약으로 인해 사내 플랫폼으로 이러한 목표를 달성해야 하는 과제를 안고 있다. 퍼블릭 클라우드 스토리지에 의존하는 경우, 데이터 주권 및 제어 부분이 문제가 될 수 있다. 또한, 콜드 데이터에 액세스할 때 급증하는 액세스 및 스토리지 비용도 고려해야 한다.

관련기사

퀀텀은 세계 최대 하이퍼스케일러에 콜드 스토리지를 제공하고 있는 선두기업으로서, 이러한 콜드 스토리지 문제를 해결할 수 있는 혁신적인 제품을 개발해왔다. 퀀텀의 액티브스케일 콜드 스토리지는 콜드 데이터 보관에 최적화된 안전하면서도 내구성과 경제성이 우수한 새로운 오브젝트 스토리지이다. 페타바이트(PB) 단위 이상의 데이터를 생성하는 모든 기업들은 이 제품을 통해 자체 데이터 센터, 코로케이션 시설 또는 as-a-Service IT 환경 내에 S3 글래시어 클래스 스토리지를 구축할 수 있으며, 전체 시스템을 직접 구축 또는 풀 매니지드 서비스 등 원하는 대로 구축할 수 있다.

이처럼 콜드 데이터 증가에 따른 요구사항은 궁극적으로 새로운 스토리지 및 서비스 솔루션으로 이어질 것으로 예상된다. 사용자가 필요 시에 액세스할 수 있는 방식과 저렴한 비용으로 대용량 데이터 세트를 장기간 저장하고자 하는 시장 요구사항이 점차 커지고 있는 가운데, 각 기업에 맞는 최적의 콜드 스토리지 도입 방안이 무엇인지 진지하게 고려해볼 시점이다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.