HP, '하둡 칼날' 오라클에 휘두르나

HP가 하둡의 칼을 뽑았다. HP 블레이드 아키텍처와 아파치 하둡을 결합한 ‘하둡 블레이드’로 관계형 데이터베이스(DB) 오라클에 반격할 수 있을 지 주목된다.

HP는 지난 5일 미국 라스베이거스에서 열린 ‘HP 디스커버2012’에서 아파치 하둡을 위한 앱시스템을 공개했다. 대규모 비정형 데이터 처리에 최적화된 하드웨어와 SW로 800노드의 하둡 컴퓨팅 자원을 30분 안에 구축할 수 있는 어플라이언스다.

HP는 클라우데라, 호튼웍스 등 여러 하둡전문업체와 손잡고 빅데이터 시장에 대응할 계획이다. 정형 데이터 처리를 위한 관계형 DB는 ‘버티카’로 대응하고, 분석을 위해선 검색 솔루션 ‘오토노미’를 결합한다. 데이터 관리에 대한 통합적인 플랫폼을 준비했다는 자신감을 보인다.

■클러스터 관리도구로 쉽게 관리하는 하둡

HP는 꾸준히 데이터 관리 SW시장 진입을 위해 노력해왔다. 자체적인 데이터웨어하우스(DW)나 파트너십을 통한 어플라이언스가 계속 출시됐다. 네오뷰, MS SQL서버 앱시스템, HANA 앱시스템 등이 그 노력의 결과물이다.

최근 소개된 HP 하둡 앱시스템은 블레이드 아키텍처와 스토리지, 네트워크 등의 하드웨어를 오픈소스인 아파치 하둡에 최적화한 일종의 레퍼런스 아키텍처다. 하둡은 오픈소스를 경험하지 못한 상황에서 섣불리 도입했다가 많은 시행착오와 운영부담을 떠안아야 하는데, 이 과정을 최소화한다는 게 HP의 설명이다.

하둡 앱시스템은 스케일아웃 하둡 워크로드를 분석하고 최적화시키는 어플라이언스로, HP 컨버지드 인프라스트럭처, 커먼 매니지먼트와 버티카6를 통합해 대용량 데이터 프로세싱과 실시간 분석을 지원한다.

하둡은 크게 세 구성요소로 이뤄진다. 외부의 수많은 데이터를 끌어오는 콜렉터와, 모아놓은 데이터를 DB에 저장하는 영역, 저장된 데이터에 가치를 부여하는 분석 영역이 있다. 하둡 앱시스템은 콜렉터와 DB처리 영역의 인프라를 쉽게 최적화할 수 있다는 게 HP의 설명이다.

하둡은 뜨거운 관심에도 불구하고 막상 도입하기 두려운 분야다. 오픈소스기 때문에 경험과 전체 아키텍처와 알고리즘에 대한 이해가 있어야 한다. 안정적인 하둡 인프라를 구축하는데만 수일, 수개월씩 걸릴 수도 있다.

폴 밀러 HP 컨버지드 애플리케이션 솔루션담당 부사장은 “관리하기 어렵다는 하둡을 HP의 클러스터 관리 SW와 통합해 엔터프라이즈급으로 관리하고 성능 최적화를 구현하도록 했다”라며 “간단하게 새로운 노드를 생성·배포하고, 각 클러스터가 어떻게 성능을 보이고 있는지 시각적으로 확인할 수 있다”고 설명했다.

그는 “이밖에 내구성과 장애에 대한 보장성을 갖추고 있다”라며 “오라클은 하둡을 하드웨어에 얹는 것에 불과할 뿐 운영과 관리에 대한 부담을 해소해주지 못한다”라고 강조했다.

HP는 하드웨어 외에 기업들이 하둡과 빅데이터를 제대로 활용할 수 있도록 지원한다. 빅데이터 전략 워크숍은 기업에게 빅데이터에 대한 설명과 지원 가능한 솔루션을 함께 제공함으로써 리스크를 줄이고 더욱 신속한 결정을 돕는다. 기업은 IT 기반과 기업 목표에 맞춰 주요 성공 요인을 파악하고, IT 인프라를 개선해 빅데이터를 효과적으로 운영할 수 있는 방법을 배우게 된다.

또한, HP 로드맵 서비스 포 하둡(HP Roadmap Service for Hadoop)은 기업의 하둡 플랫폼 설치 계획 전반 과정을 지원한다. 모범실무와 풍부한 경험을 각 기업의 필요에 맞추어, 성공적인 계획, 배치, 지원을 위한 로드맵을 생성시켜 준다.

■하둡-버티카-오토노미 “빅데이터 삼각지”

하둡의 초점은 비정형 데이터에 맞춰져 있다. 아무리 NoSQL이나 하둡이 강력한 성능을 낸다고 해도, 정형 데이터 처리를 도맡기엔 무리다. RDB란 공간에서 오라클DB가 살아남는 이유다.

HP는 하둡을 기업 외부 데이터에 초점을 두고, 내부 데이터 처리용도로 버티카를 준비했다. 대용량병렬처리(MPP) 시스템과 컬럼 아키텍처 기반의 메모리 DB인 버티카는 실시간 분석을 위한 빠른 처리속도를 장점으로 삼는다.

HP는 버티카와 하둡을 연결해 기업 내외부 데이터를 통합적으로 분석할 수 있는 방안을 제시한다.

폴 밀러 부사장은 “세계적으로 하둡 전문가는 많지 않으며, 알고리즘을 다 알아야 하기 때문에 하둡으로 인사이트를 실시간으로 추출하기는 쉽지 않다”라며 “하둡 전문가가 아니더라도 인사이트를 쉽게 얻을 수 있도록 하둡과 버티카를 통합했다”라고 설명했다.

HP의 버티카 리얼타임 애널리틱스 아키텍처는 하둡과 버티카에서 단일한 쿼리 도구를 사용해 인사이트를 확보하도록 한다.

HP 버티카 애널리틱스 플랫폼의 가장 최신 버전인 버티카6는 독자적인 플렉스 스토어(Flex Store) 아키텍처로 어드밴스드 인티그레이션이나 하둡, 오토노미 등과 같은 구조화/비구조화된 데이터 소스와의 페더레이션으로 유연한 프레임워크를 제공한다. 어드밴스드 R 애널리틱 언어 프레임워크도 지원하기 시작했다.

기업 내외부 데이터를 추출해 분석하는 가장 윗단계의 플랫폼은 오토노미다. 검색솔루션인 오토노미의 IDOL 10 엔진은 자동 분류, 클러스터링, 교육, 하이퍼링크 기능을 내재했다. 오토노미는 텍스트, 음성, 사진, 동영상 등의 데이터 축적을 통해 패턴별로 의미에 맞는 검색결과를 제시한다.

■HP, 하둡 블레이드 쥐고 오라클 기다린다

HP는 작년 3월 오라클의 대대적인 습격을 받았다. 오라클이 인텔 아이태니엄 CPU에 대한 SW개발중단을 발표한 사건이다. 아이태니엄은 HP 유닉스 하드웨어에 탑재되는 CPU로 오라클의 발표는 오라클DB, 퓨전미들웨어 등을 HP 유닉스에서 사용하지 못하게 된다는 것을 뜻했다. 혹자는 연인이었던 오라클이 HP 등에 깔을 꽂았다고까지 표현했다.

SW파워를 앞세운 오라클의 공격은 강력했다. 절묘하게도 오라클의 발표 후 HP의 유닉스 사업 매출이 줄어들었다. HP는 속절없이 무너지는 듯 보였다.

그러던 사이 DB시장에 변화의 바람이 찾아왔다. 빅데이터 처리에 RDB가 한계를 노출한 것이다. 안정성과 정제를 앞세운 오라클DB 기반의 데이터웨어하우스(DW)는 튼튼하긴 하지만 빅데이터의 새로운 가치를 담기엔 작은 그릇이었다. 빅데이터에 맞는 DB와 새로운 DW가 급속도로 주목받기 시작했다.

최형광 한국HP 상무는 “행 기반이면서 디스크 기반의 오라클DB는 데이터 분석을 다 하지 못하는 상황이 발생한다”라며 “RDB로는 불가능한 전혀 새로운 어프로치가 빅데이터”라고 말했다.

그는 “빅데이터에서 볼 때 정제되지 않은 데이터를 다루려면 기존 DB로 실시간 서비스가 불가능하고, 컬럼형 DB와 인메모리 기술이 훨씬 효과적이고 저렴하다”라며 “또 외부의 비구조화된 데이터를 다루는 하둡 HDFS를 인메모리 DB와 혼합하는 하이브리드 DB시대가 오고 있다”라고 강조했다.

HP의 전략은 RDB시장에 깊이 뿌리박은 오라클과 정면대결하기보다 다양한 솔루션을 준비해 고객 선택의 폭을 넓힌 후 새롭게 떠오르는 빅데이터 시장을 주도한다는 것이다.

이 전략은 나름 설득력 있어 보인다. 전통적인 DB시장이 흔들리고 있고, 새로운 영역이 생겨나는 상황에서 당장 오라클DB와 경쟁하기보다 멀리 돌아가 개척지에서 적을 기다린다는 얘기다.

오라클이 빅데이터 대응을 서두르면서, RDB 시장을 함께 유지해야 하는 어중간한 상황에 있는 반면, HP는 빅데이터에 맞는 솔루션을 적극적으로 준비할 수 있다는 노림수다.

최 상무는 “벤더는 빅데이터로 DB와 BI가 달라지고, 기존 DB 패턴이 함께 존재할 때 이 전체를 아우르는 걸 제시해야 하는 상황이다”라며 “하둡에 기반해 빅데이터의 의미를 분석하는 레퍼런스 아키텍처를 내놓은 것이 최근 발표의 핵심”이라고 말했다.

그는 “흩어져 있는 빅데이터를 하나로 엮어서 의미와 인사이트를 찾아내는 과정에서 오토노미를 이용하면 언어를 사용하지 않고도 필요한 것을 찾아낼 수 있다”라며 “분석, 관리 툴로서 인간 언어에 가장 맞게 찾아주는 도구가 오토노미”라고 덧붙였다.

하둡을 얹은 HP 블레이드가 오라클을 꿰뚫는 비수가 될 지는 아직 확실치 않다. 하지만, HP가 단단히 칼을 벼르고 있는 건 분명해 보인다.