"빅쿼리, 데이터레이크에서 쓴다"...구글클라우드, 빅레이크 공개

구글클라우드의 페타바이트급 데이터 저장 및 분석 서비스 '빅쿼리'를 데이터레이크에서도 사용할 수 있게 됐다. 새로운 제품 '빅레이크' 출시로, 스토리지 형식이나 시스템에 관계없이 고성능 데이터를 분석이 가능해졌다. 

구글클라우드는 27일 '데이터 클라우드 서밋' 미디어 브리핑을 통해 데이터 분석, 비즈니스 인텔리전스(BI), 인공지능(AI), 데이터베이스 포트폴리오 전반의 데이터 클라우드 신제품을 소개했다.

구글클라우드는 이날 "제한없는 데이터 클라우드 구현"을 위한 신제품으로 빅레이크를 공개했다.

빅레이크는 데이터 레이크와 데이터 웨어하우스를 통합한 데이터 레이크 스토리지 엔진이다. 빅쿼리의 고성능 스토리지 기술을 데이터 레이크로 확장한 것이다. 

구글클라우드측은 빅레이크가 유연하고 비용 효율적인 개방형 레이크 하우스 아키텍처라는 점을 강조하고 있다. 

김정훈 구글 클라우드 데이터 애널리틱스 스페셜리스트 이날 "빅레이크는 빅쿼리의 우수한 스토리지 기술을 오픈소스와 같이 협업하거나, 타사의 데이터웨어하우스와 협업하기 위해 열어둔 것"이라며 "빅레이크를 활용하면 빅쿼리가 제공하는 스토리지 성능을 다른 스토리지나 분석엔진에서 활용할 수 있다"고 설명했다.

빅레이크를 활용하면 스토리지 형식이나 시스템에 관계없이 데이터를 분석할 수 있는 설명이다. 

빅레이크는 기업이 아파치 스파크와 같은 오픈소스 처리 엔진을 비롯해, 구글 클라우드 서비스와 파케이 등 오픈파일 형식을 아우르는 API 인터페이스를 통해 세분화된 액세스 제어 역량을 갖출 수 있도록 지원한다.

구글클라우드에 따르면 트위터는 이미 빅쿼리와 함께 빅레이크의 스토리지 기능을 이용해 데이터 제한 없이 트위터 사용자의 플랫폼 사용 현황과 콘텐츠 선호도를 파악하고 있다. 그 결과, 초당 3백만 개 이상의 집계를 실행하는 광고 파이프라인을 통해 매일 수 조 건에 달하는 이벤트와 관련된 콘텐츠를 제공할 수 있게 됐다.

김정훈 구글 클라우드 데이터 애널리틱스 스페셜리스트

이외에도 구글클라우드는 이날 제한없는 데이터 클라우드 구현을 위한 '스패너 체인지 스트림'도 공개했다. 구글 클라우드 데이터베이스인 스패너에 새롭게 추가된 기능으로, 고객은 데이터베이스에서 삽입, 업데이트, 삭제 등의 변경 사항을 실시간으로 추적할 수 있다. 고객은 스패너에서 빅쿼리로 변경 사항을 쉽게 복제하고 Pub/Sub을 사용해 다운스트림 애플리케이션 동작을 실행시키거나, 컴플라이언스 준수를 위해 구글 클라우드 스토리지에 변경 사항을 저장할 수 있다. 

또, 빠른 AI 모델 개발과 손쉬운 유지보수를 지원하는 버텍스 AI 워크벤치를 정식 출시했다. 버텍스 AI 워크벤치는 데이터 및 머신러닝 시스템을 단일 인터페이스로 제공해 모든 팀이 데이터 분석, 데이터 사이언스, 머신러닝 전반에 걸쳐 공통된 툴셋을 사용할 수 있도록 지원한다. 버텍스 AI 워크벤치는 구글 클라우드의 빅쿼리, 서버리스 스파크 및 데이터프록과 네이티브 통합이 가능하며 기존 노트북 환경 대비 5배 빠르게 머신러닝 모델을 개발, 학습 및 배포할 수 있도록 지원한다.

더불어 모델 유지보수 관리를 보다 간소화할 수 있도록 버텍스 AI 모델 레지스트리에 신규 ML옵스 기능을 프리뷰 버전으로 선보였다. 버텍스 AI 모델 레지스트리는 빅쿼리 ML 모델을 포함한 머신러닝 모델의 탐색, 사용 및 관리를 위한 중앙 저장소를 제공한다. 데이터 사이언티스트가 모델을 공유하고 앱 개발자가 이를 사용하는 것이 한층 쉬워져, 조직은 데이터에 기반해 실시간으로 의사결정을 내릴 수 있고 변화하는 시장 상황에 민첩하게 대응할 수 있다.

통합형 BI 플랫폼인 루커용 커넥티드 시트와 데이터 스튜디오에서 루커 데이터 모델에 접근을 지원하는 기능도 발표했다. 이제 루커 익스플로어, 구글 스프레드시트 또는 데이터 스튜디오의 드래그 앤 드롭 인터페이스를 사용해 원하는 방식으로 데이터를 활용할 수 있다. 기업은 통합된 구글 클라우드 BI 플랫폼을 이용해 모든 사용자가 보다 쉽게 데이터에 액세스하고, 새로운 데이터세트와 연산을 통합하며, 동료들과 원활히 협업할 수 있다. 이를 통해 데이터에 기반한 통찰력을 확보해 혁신을 추진하고 현명한 의사결정을 내릴 수 있다.

장화진 구글클라우드 코리아 사장은 "오늘날 데이터의 양과 유형, 워크로드, 그리고 사용자까지 폭발적으로 증가하면서 전통적인 데이터 아키텍처로 데이터가 가진 진정한 가치를 실현하는 것은 어려워졌다"며, "구글 클라우드는 오늘 발표한 데이터 클라우드의 기술 혁신을 통해 클라우드 환경에서 데이터의 원활한 활용을 지원하고, 고객이 데이터 기반의 비즈니스 가치를 실현함으로써 성공적인 디지털 트랜스포메이션을 추진할 수 있도록 최선을 다할 것"이라고 말했다.