이기종 DB 혼용 증가에 AWS가 내놓은 해법

한 기업에서 여러 이기종 데이터베이스(DB)를 사용하는 경우가 늘면서, 혼재된 데이터를 통합적으로 관리하고 활용하려는 수요도 증가하고 있다. DB와 데이터 관리 복잡성 증가에 아마존웹서비스(AWS)는 가상 데이터 계층과 이기종 DB 데이터 통합 조회를 해법으로 제시했다.

AWS는 1일(현지시간) 온라인으로 개최한 '리인벤트 2020' 컨퍼런스에서 다양한 DB 저장소의 데이터를 한곳에 모아 보여주고 활용할 수 있는 'AWS 글루 엘라스틱뷰(Glue Elastic Views)'를 발표했다.

AWS 글루 엘라스틱뷰는 여러 DB의 데이터를 복제해와 통합하는 가상 테이블을 제공한다. SQL 쿼리로 가상 테이블을 생성할 수 있으며, 데이터 업데이트 내용을 계속 반영한다. 복제한 데이터는 각 데이터저장소에 저장된다.

AWS 글루 엘라스틱뷰를 설명하는 앤디 재시 CEO

아마존 오로라, RDS, 다이나모DB, S3, 레드시프트, 엘라스틱서치 등의 저장소를 지원한다. 수요에 기반해 자동으로 인프라 자원 용량을 늘리거나 줄여준다.

별도의 맞춤형 코드를 만들거나 ETL 툴, 개발언어를 사용하지 않고 여러 DB의 데이터를 복사, 혼합할 수 있다.

최근 개발되는 애플리케이션과 소프트웨어 기능은 관계형 DB나 NoSQL DB 등 다양한 데이터 저장소에서 데이터를 혼용하는 추세다. 단일 애플리케이션의 원활한 작동을 위해 데이터 접근, 복제, 유지 등을 제대로 수행해야 한다. 이를 위해 별도의 코드를 작성해야 하는데, 이는 수개월의 개발 기간을 거쳐야 한다.

앤디 재시 AWS 최고경영자(CEO)는 기조연설에서 "데이터 저장소에서 데이터를 옮기는 능력은 혁신적인 것"이라고 강조했다.

AWS는 그동안 여러 DB의 데이터를 함께 조회할 수 있는 'AWS 글루'란 ETL 서비스를 제공해왔다. 이는 원본 데이터를 한곳에 담아두기보다 필요한 때 실시간 ETL로 불러와 활용하게 하는 '데이터레이크' 개념의 근간이다.

AWS 글루 엘라스틱뷰 이용 예시

AWS 글루 엘라스틱뷰는 데이터 복제와 이동을 더 간소화함으로써 갈수록 복잡해지는 데이터 관리를 단순하게 해준다.

AWS는 이와 함께 아마존 오로라 포스트그레에서 마이크로소프트 SQL서버의 데이터도 함께 조회할 수 있는 '바벨피시(Babelfish)'란 서비스도 공개했다.

바벨피시는 기업내에 구축된 SQL서버를 그대로 유지하면서, 포스트그레SQL에서 SQL서버에 저장된 데이터를 불러올 수 있는 서비스다.

기존에 사용중인 SQL서버를 아마존 오로라로 완전히 이전하지 않고 데이터만 사용할 수 있기 때문에 DB 전면 이전에 따른 부담을 줄여준다.

대규모 DB 이전을 결정하지 말고, 오로라 포스트그레SQL을 새롭게 쓰면서 점진적으로 레거시 DB를 이전하라는 것이다. 바벨피시는 SQL서버의 T-SQL과 TDS 통신 프로토콜을 이해하기 때문에 라이브러리, 스키마, SQL 명세서 등을 변경하지 않아도 된다.

AWS는 포스트그레SQL용 바벨피시를 내년 1분기 중 오픈소스로 공개할 예정이다. 아파치2.0 라이선스로 이용가능하다. 포스트그레SQL 사용자는 SQL서버를 이전할 때 사용할 수 있다.

포스트그레SQL용 바벨피시

아마존 오로라 서버리스 v2도 공개됐다. 오로라 서버리스v2는 몇분의 1초 안에 수십만개의 트랜잭션으로 확장하고, 프로비저닝 용량을 절약할 수 있다. 포스트그레SQL와 함께 마이SQL도 이를 이용할 수 있다.

스토리지영역네트워킹(SAN)의 지연시간을 줄이는 'io2블록익스프레스'도 나왔다. 이는 SAP HANA, 마이크로소프트 SQL서버, 오라클, 아파치 카산드라 등의 워크로드를 가속해준다.

이밖에 AWS나 써드파티 데이터 저장소의 데이터를 머신러닝용 데이터로 만드는 데이터프랩 서비스 '세이지메이커 데이터랭글러(Data Wrangler)'가 출시됐다.