[제8회 ACC]“ 빅쿼리, 6초면 위키피디아 분석 끝”

“세계에서 가장 큰 데이터베이스인 위키피디아라 해도 구글 빅쿼리를 이용하면 수초면 된다.”

빌 히픈메이어 구글 엔터프라이즈전략 글로벌 디렉터는 메가뉴스 지디넷코리아가 주최한 ‘제8회 ACC’ 컨퍼런스 첫번째 기조연설로 나섰다.

그는 구글이 기업을 위해 제공하는 클라우드 컴퓨팅 기반의 핵심 서비스를 소개했다. 구글 앱엔진, 구글 스토리지, 빅쿼리, 구글 컴퓨트 등에 대한 소개가 이어졌다.

빌 히픈메이어 이사는 “고객과 접하는 애플리케이션과 서비스를 개발할 때 구글의 클라우드 자원을 이용하면 개발준비과정, 부차적으로 신경써야 할 것들이 사라진다”고 강조했다. 하드웨어를 사고, 데이터베이스 설정, 용량 할당, 트래픽 워크로드 예측 등을 신경쓰지 않고 오로지 애플리케이션 개발 자체에만 힘을 쏟으면 된다는 얘기였다.

이날 기조연설의 하이라이트는 빅데이터 서비스로 구글에서 제공되는 빅쿼리였다. 그는 “구글의 스토리지 인프라 위에 올라가 제공되는 빅쿼리는 맵리듀스 아키텍처를 이용해 수십만개 쿼리를 신속하게 처리한다”라며 “대용량 테이블을 검색하는데 병렬 아키텍처를 이용함으로써 빅데이터에 다가갈 수 있게 한다”라고 설명했다.

그는 이어 빅쿼리 콘솔을 이용해 위키피디아 데이터베이스에 대한 쿼리를 실행했다. 첫째로 단순히 위키피디아 테이블을 인덱싱 없이 스캔했다. 약 3억1천300만부의 테이블을 스캔하는데 3.7초밖에 걸리지 않았다.

이어진 시연에서는 위키피디아 DB에 올라온 셰익스피어의 작품 가운데 15글자 이상의 단어를 찾아내는 쿼리를 실행했다. 텍스트를 처리해야 하는 복잡한 작업인 만큼 조금더 많은 시간이 소요됐다. 하지만 이도 6.1초밖에 걸리지 않았다.

빌 히픈메이어 이사는 “여러 회사들이 맵리듀스 아키텍처를 제공하고 탁월한 역량을 보여주지만 그들과 빅쿼리의 차이점은 구축 시간이 없다는 것”이라며 “하둡에서 시스템관리와 클러스터 관리에 시간을 할애할 필요없이 구글 클라우드의 수천개 CPU코어를 활용할 수 있다”라고 강조했다.

그는 “빅쿼리는 이전에 할 수 없었던 질문을 할 수 있게 해준다”라며 “큰 데이터세트를 구글로 로딩하고 빅쿼리를 통해 질문을 하고, 이전에 발견하지 못했던 것을 질문하면서 발견해 바로 답을 바로 얻을 수 있다”라고 말했다.

그가 밝힌 또다른 구글 클라우드 서비스의 장점은 API와 콘솔만으로 모든 것을 할 수 있다는 점이었다. 그는 앱엔진, 빅쿼리, 스토리지, 컴퓨트 뿐 아니라 구글의 지도서비스나 협업 서비스 등을 연결하면서 모바일 영역까지 역동적으로 전세계 모든 고객에게 다가갈 수 있다는 점을 강조했다.