[기고] AI 시대 폭증한 데이터 저장 비용, 관리 계층화로 해결해야

인공지능(AI)과 빅데이터 분석이 기업 경영의 핵심 도구로 자리 잡으면서 데이터 저장·관리에 드는 비용이 새 이슈로 떠오르고 있다.

글로벌 리서치 기업 인사이트 파트너스가 발표한 '데이터 센터 스토리지 시장 규모·전망' 보고서에 따르면, 글로벌 데이터 센터 스토리지 시장은 2024년 546억7천만 달러(약 76조2천209억원)에서 2031년 1천302억3천만 달러(약 181조5천406억원)로 확대될 것으로 예상된다. 2025년부터 2031년까지 연평균 성장률(CAGR)은 11.2%에 달할 것으로 전망된다. 특히 AI 모델 학습과 고도화된 분석 확산으로 데이터 규모가 기하급수적으로 늘어나 이를 저장·관리하는 비용이 부담이 되고 있다.

실제 많은 기업들이 데이터 스토리지 비용을 분석 환경에서 주요 비용 요소로 꼽는다. 관련 조사에 따르면, 기업들은 분석 소프트웨어(SW)에 투자하는 1달러 대비, 데이터 저장소에 4달러를 지출한다. 온프레미스도 예외는 아니지만, 저장소 용량이 즉시 비용으로 연결되는 클라우드 환경이라면 스토리지 비용에 더욱 민감할 수밖에 없다.

이런 문제를 해결하기 위한 해답 중 하나는 '스토리지 최적화'다. 핵심은 데이터 중요도와 사용 빈도에 따라 저장소를 계층화하는 것이다. 대표적인 방법은 SAS 데이터셋 등 기존 분석용 데이터를 파케이(Parquet) 같은 오픈 파일 형식으로 변환하는 것이다.

활용 성과도 나오고 있다. 100테라바이트(TB) 규모의 SAS 데이터셋을 25TB의 파케이 형식으로 변환한 결과, 저장 공간을 75% 줄이면서 연간 스토리지 비용을 49만 달러(약 6억8천306만원)에서 12만 달러(약 2억7천880만원)로 절감할 수 있었다. 또 분석 결과를 오픈 파일 형식으로 저장하면, 다양한 시스템에서 직접 접근할 수 있다는 장점도 있다.

더 나아가 자주 사용하지 않는 데이터를 클라우드의 저비용 저장소로 이동시키면 비용 절감 효과는 극대화된다. 아마존 S3(AWS S3) 같은 클라우드의 오브젝트 스토리지를 활용하면 월 GB당 0.02달러 수준의 저렴한 비용으로 데이터를 보관할 수 있다. 기존 고성능 스토리지 대비 최대 98%까지 비용을 줄일 수 있는 셈이다.

스토리지 최적화 장점은 비용 절감에만 그치지 않는다. 고급 압축 기술을 통해 저장 공간을 줄이면서도 SQL 조회 속도를 대폭 향상시킬 수 있다.

해외 모 은행사 관계자는 "다수 부서장은 비용 절감 KPI를 부여 받고, 가장 먼저 SW 비용만 줄이려 한다"며 "스토리지나 인프라 같은 다른 비용은 잘 고려하지 않는다"고 말했다. 이 은행의 사례를 보면, SAS의 스토리지 최적화 기술을 통해 30~40TB 규모의 SAS 데이터셋 저장소 비용을 70%까지 절감하면서도 데이터 조회 속도를 크게 향상시켰다.

또 다른 은행사의 경우, 분석 시스템의 클라우드 전환 과정에서 자주 사용하지 않는 페타바이트급 대용량 데이터를 고성능 저장소 대비 20배 저렴한 클라우드 오브젝트 저장소에 보관하고, 원하는 데이터를 조건에 맞게 빠르게 조회할 수 있는 분석 시스템을 구축했다.