미래 AI 환경 위한 데이터 레이크하우스 전략은

데이터가 기업의 핵심 IT 자산으로 등극하면서, 데이터의 효과적인 저장과 관리 방안에 대한 관심이 높아지고 있다. 특히 데이터 분석과 AI 활용 등을 위한 핵심 자원으로 비정형 데이터의 중요성이 커지면서, 데이터 관련 솔루션에 대한 니즈 역시 증가하고 있다.

기업들이 데이터 관리를 하는 목적은 여러 가지다. 구체적으로, 새로운 비즈니스 모델 적용, 시장 경쟁력 향상, 상품 또는 서비스 출시 기간 단축, 고객 경험 향상, 기업의 비용 절감 등을 위해서다. 이러한 목표를 달성하기 위해서는 데이터 관리 워크플로우에 적합한 컴퓨팅, 스토리지, 네트워킹 구성요소가 필요하다.

‘데이터 레이크’는 기업 데이터의 중요한 혁신 수단으로 손꼽힌다. 데이터 레이크는 데이터 사일로 현상을 방지하고, 데이터 분석을 위한 모든 종류의 데이터를 취합하는 데 데이터 중앙 공급소와 같은 탁월한 역할을 한다. 그러나 진정한 데이터 레이크를 구현하려면 단순한 대규모 저장소뿐 아니라 고성능 데이터 처리가 반드시 필요하다. 이 때문에 기존의 데이터 레이크 전략을 개선하면서도 비용 효율적으로 구현할 수 있는 솔루션이 주목받고 있다.

■ AI·HPC 환경을 위한 고성능 솔루션

데이터가 폭증하면서 분석해야 할 데이터양 역시 기하급수적으로 늘고 있다. NVMe 기반의 병렬 처리 시스템은 수십 기가바이트(GB) 이상의 데이터 처리를 위해 분석 환경을 최적화하고 폭증한 데이터를 처리하는 데는 효과적이지만, 큰 걸림돌이 있다. 페타바이트(PB) 이상을 저장하기에 NVMe 스토리지는 비용 부담 큰 솔루션이라는 점이다.

대부분의 데이터는 초기에 많은 IO를 요구하다가, 갈수록 낮은 접근 빈도를 보인다. 접근 빈도가 낮아지는 데이터를 애플리케이션 성능에 영향을 주지 않고 더 저렴한 스토리지로 이동시켜 비용을 절감할 수 있다.

효성인포메이션시스템의 HCSF는 초고성능 병렬 파일시스템과 오브젝트 스토리지가 통합된, 초고성능과 대용량 확장성을 모두 제공하는 파일 스토리지다. 오브젝트 스토리지의 가용량과 클라우드 기능을 갖추면서도 분산 파일 시스템 속도를 제공하며, 파일과 오브젝트 프로토콜을 지원해 데이터 수집이 용이하다. 또한 정책 기반 티어링 파일 시스템 운영으로 비용 효율적인 데이터 관리가 가능하다.

HCSF는 고성능, 스케일아웃 단일 파일 시스템, 오브젝트 스토리지와 통합 구성이라는 차별성을 바탕으로 AI 시대의 고성능 데이터 분석을 위한 최고의 환경을 제공한다. 또한 오브젝트 스토리지의 장점을 활용해 메타 데이터 기반의 강력한 데이터 관리 자동화를 제공하고 클라우드 환경에도 완벽하게 대응할 수 있다.

■ 데이터 기반 경영의 초석 ‘고성능 데이터 레이크하우스’

최근 데이터 중심의 혁신이 산업 전반으로 가속화되면서 ‘데이터 레이크하우스’가 주목 받고 있다. 데이터 레이크하우스는 확장 가능한 ‘데이터 레이크’의 속성과 구조화된 ‘데이터 웨어하우스(DW)’ 기능을 결합한 새로운 개방형 데이터 관리 아키텍처로, 모든 데이터 소스에서 분석 및 인텔리전스를 가능하게 하며 데이터의 확장성, 민첩성, 유연성을 높여준다.

데이터 분석 기술이 발전하면서 페타바이트 단위 이상의 데이터를 신속하게 분석하기 위한 GPU DB(데이터베이스) 활용이 높아지고 있다. 효성인포메이션시스템의 고성능 병렬 파일 스토리지 HCSF와 GPU DBMS를 이용하여 가속 데이터 웨어하우스를 활용하면 페타바이트급 대용량 DB를 안정적으로 저장하고 복잡한 쿼리 처리와 신속한 분석 업무가 가능하다.

데이터 레이크 시장을 적극 공략해온 효성인포메이션시스템은 주요 DW 업체들과 협업을 통해 데이터 레이크하우스 구현 시너지를 높이며 굵직한 레퍼런스를 늘려가고 있다. 효성인포메이션시스템은 앞으로도 공공, 제조, 통신 등 다양한 산업의 대규모 AI/ML 데이터 분석 처리를 위한 데이터 레이크하우스 구현을 지원할 계획이다.