오라클, 마이SQL 인메모리 가속기에 머신러닝 자동화 적용

오라클은 마이SQL 데이터베이스의 인메모리 쿼리 가속기인 ‘마이SQL 히트웨이브’ 새 구성요소인 ‘마이SQL 오토파일럿’을 11일 발표했다.

마이SQL 히트웨이브는 오라클클라우드인프라스트럭처(OCI) 상의 마이SQL 데이터베이스 서비스를 지원하는 인메모리 쿼리 가속기다. 마이SQL 오토파일럿은 고도화된 머신러닝 기술을 기반으로 히트웨이브를 자동화하고 이를 통해 사용 용이성과 성능 및 확장성을 개선한다. 마이SQL 히트웨이브를 사용하는 고객이라면 누구나 추가 비용 없이 새로운 오토파일럿 서비스를 이용할 수 있다.

마이SQL 오토파일럿은 프로비저닝, 데이터 로드, 쿼리 실행 및 오류 처리와 같이 대규모 쿼리의 성능을 높이는 과정에서 가장 중요하고, 종종 까다롭게 여겨지는 기능들을 자동화한다. 고도화된 기술을 활용해 데이터를 샘플링하고, 데이터 및 쿼리에 대한 통계를 수집하는 한편 오라클 오토ML 기반의 머신러닝 모델을 구축하여 메모리 사용량, 네트워크 로드 및 실행 시간을 모델링한다.

오라클 CI

이러한 머신러닝 모델은 추후 마이SQL 오토파일럿에서 핵심 기능들을 실행하는데 활용될 수 있다. 마이SQL 오토파일럿이 점점 더 많은 쿼리를 처리할수록 히트웨이브 쿼리 최적화 프로그램은 더욱 지능화되고, 따라서 시간이 흐르면서 시스템 성능이 지속적으로 개선된다.

자동 프로비저닝: 분석 대상 테이블 데이터에 적응 샘플링을 적용해 워크로드 실행에 필요한 히트웨이브 노드(node) 수를 예측하기 때문에 고객은 더이상 클러스터의 최적 크기를 수동으로 계산하지 않아도 된다.

자동 병렬 로드는 히트웨이브에 적재되는 각각의 테이블에 대한 최적의 병렬도를 예측하여 로드 시간과 메모리 사용을 최적화한다. 자동 데이터 배치는 쿼리에 대한 최상의 성능을 달성하기 위해 인메모리 분할이 필요한 테이블의 열을 예측한다. 새로운 열 권장 사항을 기반으로 쿼리 성능 개선 효과를 예상한다. 이용자가 수동으로 열을 고를 경우, 최적화되지 않은 선택지에서 발생할 수 있는 노드 간 데이터 이동을 최소화할 수 있다.

자동 인코딩은 쿼리를 고려해 히트웨이브에 적재되는 열의 최적화된 표현을 결정한다. 이와 같이 최적화된 표현은 최상의 쿼리 성능을 제공하고 클러스터 크기를 최소화함으로써 비용을 대폭 절감할 수 있다.

자동 쿼리 계획 개선은  쿼리 실행 과정에서 다양한 통계를 학습하고 향후 쿼리 실행 계획을 개선하기 때문에 보다 많은 쿼리가 처리될수록 시스템 성능이 개선된다. 자동 쿼리 시간 추정: 쿼리를 처리하기 앞서 쿼리 실행 시간을 예상한다. 이를 기반으로 고객은 쿼리를 처리하는데 걸리는 시간을 사전에 예측하여 소요 시간이 지나치게 길 경우 다른 쿼리를 실행하도록 결정할 수 있다. 자동 변경 전파로 마이SQL 데이터베이스의 변경 사항이 히트웨이브 스케일 아웃 데이터 관리 계층으로 전파되는 최적의 시간을 지능화된 방식으로 결정하기 때문에, 이를 통해 변경 사항이 알맞은 속도로 전파될 수 있다.

자동 스케줄링은 대기열에서 단기 실행되는 쿼리를 파악하고 지능화된 방식을 통해 이를 장기 실행 쿼리보다 우선 순위로 설정함으로써 전체 대기 시간을 줄인다. 대다수의 타사 데이터베이스는 스케줄링을 위해 선입 선출(FIFO) 메커니즘을 사용한다. 자동 오류 복구 는소프트웨어 혹은 하드웨어 오류로 인해 하나 이상의 히트웨이브 노드가 응답하지 않는 경우 새 노드를 프로비저닝하고 필요한 데이터를 다시 적재한다.

오라클은 함께 발표한 마이SQL 스케일아웃 데이터관리를 통해서 마이SQL 히트웨이브로 데이터를 불러오기 성능을 최대 100배까지 향상시켰다. 히트웨이브가 지원하는 최대 크기는 클러스터 노드 기준 24노드에서 64노드로 확장됐고, 데이터를 기준으로 기존 12TB에서 32TB로 확대됐다.

이와 같은 개선 사항은 다른 주요 경쟁사 대비 히트웨이브의 가격 대비 성능 이점을 더욱 향상시켰다.

오라클은 벤치마크 코드를 공개적으로 제공하고 있으며, 오라클 홈페이지에서는 이번 벤치마크를 고객이 직접 재연할 수 있도록 자세한 수행 절차를 공개하고 있다. 오라클은 이제 히트웨이브를 사용해서 업계 표준인 TPCDS 벤치마크를 가속화하는 것이 가능해졌다고 발표했다.

타사 클라우드에서 OCI 기반 마이SQL 히트웨이브로 이전한 고객들은 기존에 비해 조직의 클라우드 워크로드 운영 비용이 크게 절감되고 성능은 대폭 향상됐다고 밝혔다.

미국에 있는 선도적인 비즈니스 인텔리전스 및 디지털 마케팅 전문 기업인 Red3i 는 “6TB 규모의 데이터베이스와 인하우스 디지털 마케팅 및 미디어 관리 애플리케이션을 타사 클라우드에서 OCI 기반의 마이SQL 히트웨이브로 이전하고, 복잡한 쿼리 처리 성능을 1천배 이상 향상시켰으며 전반적인 워크로드 효율성을 85% 개선했다”고 밝혔다. 또 “서비스 이전 과정에서 애플리케이션을 변경하지 않아도 되었던 것은 물론, 자동 오류 복구 기능을 기반으로 다운타임을 최소화했으며 수천 개의 코어를 확장해 끊임없이 증가하는 수요를 충족할 수 있게 됐다"고 덧붙였다.

브라질에서 기업 고객을 대상으로 대규모 디지털 광고 투자를 관리하는 마케팅 기술 업체 테트리스닷코는 마이SQL 히트웨이브 도입 후 타사 클라우드를 사용했을 때에 비해 클라우드 데이터베이스 관련 비용을 50% 이상 절감했다.

일본의 2억 8천만 달러 규모의 마케팅 및 광고 제휴 서비스 업체인 팬 커뮤니케이션즈는 타사 솔루션에서 마이SQL 히트웨이브로 전환한 후 시스템 성능이 10배 이상 향상되고 비용을 크게 감축했다.

마이SQL 히트웨이브는 오라클 레이크하우스에도 통합돼 있다. OCI 데이터 카탈로그는 레이크 하우스 전용 단일 카탈로그로서, 마이SQL 데이터베이스 서비스를 비롯한 오라클 자율운영 데이터베이스와 OCI 오브젝트 스토리지 상의 데이터를 포함한다. 레이크하우스의 이용 고객은 카탈로그를 통해 마이SQL 데이터에 접근할 수 있으며 필요에 따라 데이터를 이동 및 분석할 수 있다. 오라클 애널리틱스 클라우드와 오라클 클라우드 데이터 통합 서비스와 같은 다른 OCI 서비스군 역시 마이SQL 히트웨이브와 통합됐다.

에드워드 스크리븐 오라클 총괄 아키텍트는 “히트웨이브를 포함한 오라클 마이SQL 데이터베이스 서비스는 OLTP와 OLAP 모두를 효율적으로 지원하는 유일한 마이SQL 데이터베이스”라며 “이는 사용자가 혼합 워크로드 혹은 실시간 애널리틱스 기능을 마이SQL 데이터베이스 상에서 실행할 수 있도록 지원한다”고 설명했다.

그는 “여타 분석형 혹은 마이SQL 데이터베이스 대비 절반 미만의 비용으로 10배~1천배 더 나은 성능을 제공한다”며 “마이SQL 히트웨이브는 OCI에서 가장 빠르게 성장하는 클라우드 서비스 중 하나이며 점점 더 많은 기업 고객이 마이SQL 워크로드를 히트웨이브로 이전하고 있다”고 강조했다.

최근 공개된 마이SQL 히트웨이브의 신규 기능은 현재 전 세계 30개 오라클 클라우드 리전 기반의 OCI 에서 이용 가능하다.