인메모리DB 시장, MS 태풍불까?

SQL서버2014와 통합 전략...무료 제공

마이크로소프트(MS)가 5년을 들여 만들어낸 온라인 트랜잭션 처리((online transaction processing: OLTP)용 인메모리 데이터베이스를 마침내 상용화했다. SAP, 오라클이 파상공세를 퍼붓고 있는 인메모리DB 시장을 뒤흔들 변수가 될 수 있을지 주목된다.

한국마이크로소프트는 16일 기자간담회를 열고 인메모리 데이터베이스(DB)를 내장한 데이터베이스관리시스템 SQL서버2014를 정식 출시한다고 밝혔다. SQL서버2014 인메모리 DB는 제품에 탑재된 기본 기능으로 다른 업체 DBMS처럼 옵션을 별도로 구매하지 않아도 사용가능하다.

지난 5년간 헤카톤(Hekaton)으로 알려졌던 MS SQL서버의 인메모리 DB는 이전 버전 대비 평균 30배 향상된 성능과 100배 빨라진 조회속도, 5배 확장성, 90% 디스크 공간 절감 효과를 거두게 해준다. 이전 버전에서 데이터웨어하우스(DW), BI 등에 제한적으로 적용됐던 인메모리 DB를 온라인트랜잭션처리(OLTP) 업무에서도 활용할 수 있게 됐다.

김경윤 한국MS 서버마케팅 상무는 “인메모리 DB를 새로 만들어 별도 제품으로 내놓는 게 아니라, 이미 증명된 RDB에 얹는 방식을 사용했다”며 “DB의 핵심인 쿼리 옵티마이즈, 스토리지 등의 두 엔진을 인메모리DB용으로 새로 설계해 디스크 기반 엔진과 함께 담았다”고 설명했다.

그는 “DB의 핵심 엔진은 디스크에 맞게 만들어져 있고, 인메모리는 완전히 구조가 다르다”며 “환경에 따라 인메모리와 디스크의 엔진을 같이 내장해 추가적인 비용없이 기본 제공하는 건 처음”이라고 강조했다.

SQL서버2014의 인메모리DB는 확장성에 장애물을 없애기 위해 동시성 제어 메커니즘을 새로 개발했다. 멀티코어 프로세서를 하나의 분산시스템으로 처리하는 방식을 도입했다. 래치프리(latch-free) 혹은 락프리(lock-free) 디자인으로 불린다.

래치는 동기화 메커니즘으로, 복수의 사용자가 동시에 데이터 구조를 수정하려 시도할 때 벌어지는 데이터오염을 피하기 위해 이뤄지는 DB의 프로세싱 작업이다. SQL서버2014는 잠금(Lock)이나 래치(Latch)가 필요없다.

김 상무는 “적절한 DB테이블에 인메모리DB를 활용하게 되면 래치 부담을 비약적으로 줄여준다”며 초당트랜잭션(TPS) 수십배 향상의 비결을 설명했다.

그는 “30배 빨라졌다는 것은 그동안 느린 속도 때문에 하지 못했던 업무를 시도할 수 있게 됐다는 의미다”고 강조했다.

SQL서버2014는 OLTP에서 인메모리DB 기능을 사용했을 경우 현격한 개선효과를 거둘 수 있는 DB 테이블을 추천해주는 기능도 제공한다. 조회관련 업무에서도 인메모리DB 사용에 적합한 로직을 추천한다.

기자간담회에 사례발표자로 나선 넥슨 DW팀의 박종윤 엔지니어는 정식출시 이전 SQL서버2014를 사전 테스트한 내용을 공유했다.

그는 “현업에서 보고서 조회 시 20분 이상 소요돼 사실상 조회가 불가능하다는 불만이 많았고, 저장소 공간도 임계치에 다 다르는 상황에서 개선을 위해 실험했다”며 “마이크로소프트의 BI를 사용해 손쉽게 보고서를 작성하는 실험도 했다”고 말했다. 넥슨의 테스트는 3가지로 이뤄졌다. 일일 아이템별매출 보고서와 게임 일별집계 보고서, MS BI 등이다.

그는 “아이템매출 보고서의 경우 참조데이터는 단일 테이블 안에 1억4천만건이 저장되며, 하루에 20만건씩 매출 보고서에 쌓이게 된다”며 “SQL서버2014의 CCI를 이용했더니 20분 이상 걸리던 조회가 9초만에 이뤄져 426배 빨라졌고, 데이터 크기는 78% 감소했으며, 저장소 점유율은 95% 가까이 줄었다”고 밝혔다.

게임 일별집계 보고서의 경우 조금 다른 결과가 나왔다. 이 경우 10초 이내에 실행되는 보고서로 SQL서버2014에서 쿼리 수행시 오히려 30초로 실행시간이 늘었다.

그는 “데이터 사이즈는 78% 감소했는데 속도저하가 7.5배 나타났다”며 “특정 업무와 테이블에 따라 어떻게 적용할 것인가를 고민해야 한다”고 밝혔다. 김경윤 상무는 인메모리DB는 별도 비용없이 기본으로 제공되는 기능인 만큼 효과를 거둘 수 있느냐 없느냐에 따라 기능을 쓸지 말지 결정하면 된다고 부연했다.

MS는 SQL서버2014 출시와 함께 하둡 기술이 적용된 ‘HD인사이트 서버’도 제공한다고 밝혔다. HD인사이트는 마이크로소프트 애저 위에 서비스로 제공하는 ‘HD 인사이트 서비스’와 기업 내 배포를 위해 소프트웨어 형태로 제공하는 ‘HD 인사이트 서버’를 포함한다. 이에 따라 기업은 SQL서버2014란 RDB와 HD인사이트 서버, 하둡분산파일시스템(HDFS)과 RDB 내 데이터를 SQL쿼리로 함께 분석할 수 있는 폴리베이스(Polybase) 기술 등을 사용할 수 있게 됐다.

더불어 엑셀 등 MS 오피스 소프트웨어에 기반한 파워 BI 기능을 더해 누구나 쉽게 대량의 데이터를 엑셀로 도식화, 데이터를 손쉽게 분석해 낼 수 있다.

SQL서버2014는 보안성도 강화됐다. SQL 서버 2014는 암호화 기술의 핵심인 암호화 키를 별도 서버에 저장할 수 있다. 사내에 구축한 SQL서버2014를 마이크로소프트 애저에 백업하고, 재해복구로 사용할 수 있는 기능도 제공한다. 대시보드, 리포트, 분석, 마스터데이터 서비스, 데이터품질 서비스, 데이터통합 등도 제공한다.

김 상무는 “데이터 배당금(dividends)이란 말이 있다”며 “데이터를 잘 이용하면 배당금을 받듯이 추가적 이득을 얻을 수 있다는 말로 포춘 100대 기업이 데이터 배당금을 통해 1천600조달러의 혜택을 얻을 수 있을 것으로 예상되고 있다”고 말했다.

그는 “이를 위해선 먼저 여러 데이터를 모으고 이용할 수 있어야 하고, 새로운 분석기법을 적용하고, 그 툴을 전보다 더 많은 사람이 이용하게 해야 한다”며 “여기에 속도를 더 하면 배당금 같은 이득이 생긴다는 것인데, MS는 데이터를 알고 쓰는 현업에 초점을 맞춰 애널리틱스 플랫폼 시스템을 제공한다”고 강조했다.

SQL서버2014의 인메모리DB 기능은 엔터프라이즈 에디션에 한하며, 스탠더드 에디션에선 제공되지 않는다. 넥슨의 사례처럼 데이터세트 용량이 크고 복잡할 때 효과가 극대화되는 기능이기 때문이란 설명이다.