급증하는 데이터, 히트웨이브 레이크하우스로 한번에

급증하는 데이터를 보다 효율적으로 관리하고 분석할 수 있는 데이터베이스(DB)서비스가 공개됐다.

메가존클라우드 박군태 매니저는 27일 서울 삼성동 코엑스에서 열린 멀티클라우드 컨퍼런스에서 ‘마이SQL(MySQL) 히트웨이브 레이크하우스’를 소개했다.

오라클에서 제공하는 마이SQL 히트웨이브 레이크하우스는 하나의 마이SQL 히트웨이브 DB 플랫폼에서 레이크하우스까지 처리 가능하도록 지원하는 서비스다.

이를 활용해 CSV, 파케이 등 다양한 DB 파일 형식과 오로라, 레드시프트 같은 오브젝트 저장소 파일 형식을 동일한 쿼리에서 오브젝트 저장소 파일 데이터와 마이SQL 데이터베이스 트랜잭션 데이터를 함께 결합할 수 있다.

또한, 오브젝트 스토리지 내 데이터 쿼리 속도를 데이터베이스에서 운영하는 수준으로 속도가 향상됐으며, 대규모 AI 등에 활용할 수 있도록 개체 저장소에 있는 수백테라 바이트의 데이터 처리 및 쿼리를 지원한다.

박군태 매니저는 “이런 성능향상은 쿼리 실행을 통해 학습하고 실행 계획을 개선하는 기계학습(ML) 기반 자동화를 제공하는 마이SQL 오토파일럿을 통해 가능해졌다”고 밝혔다.

각 데이터는 객체 저장소에 남아 있으며 표준 SQL 구문을 사용하여 이를 쿼리할 수 있다. 이를 통해 클라우드 서비스 전반에 걸쳐 ETL 없이 트랜잭션 처리, 데이터 웨어하우스 및 데이터 레이크 전반의 분석, 기계 학습을 위한 단일 서비스를 제공한다. 더불어 객체 저장소에 데이터를 저장하는 비용을 제외하고 이 기능에 대한 추가 비용을 요구하지 않다.

박 매니저는 “많은 기업에서 AI를 활용해 데이터를 분석하고, 새로운 비즈니스를 발굴하려 하지만 기하급수적으로 증가하는 데이터를 관리하는 과정이 복잡하고, 많은 비용을 요구하고 있다”며 “마이SQL 히트웨이브 레이크하우스는 오브젝트 스토리지에 저장된 데이터와 데이터베이스 데이터를 결합해 실시간 인사이트를 손쉽게 확보할 수 있도록 지원한다”고 강조했다.

멀티미디어 클라우드2023은 함께 열린 2023 디지털미래혁신대전(2023 디미혁) 행사장 메인홀에서 진행됐다. 이번 행사는 메가존클라우드와 화웨이 클라우드, 오라클 등 파트너사들이 AI, 데이터분석 등 클라우드 기반 서비스와 효과적인 멀티클라우드 구축을 위한 방법이 제시됐다.

2023 디지털미래혁신대전에는 스타트업부터 중견기업, 대기업까지 국내 ICT 시장을 선도하는 300여 기업이 참가한 대규모 전시회다.