노란 코끼리 '하둡'이 델의 파워에지 서버에 올라탔다.
5일(현지시간) 외신에 따르면, 델은 상용 하둡SW업체인 클라우데라와 손잡고 하둡을 사전탑제한 빅데이터 전용 솔루션을 출시했다. 델이 오픈소스인 아파치 하둡을 빅데이터 전용 시스템 기술로 채택한 것. 빈약했던 SW분야를 강화하기 위한 델의 오픈소스 끌어안기 전략은 결국 하둡까지 손을 뻗쳤다.
하둡은 구글이 자사 서비스를 위해 개발한 분산처리시스템 맵리듀스를 참고해 야후의 더그 커팅이 개발한 오픈소스 파일시스템이다. 기존 관계형데이터베이스(RDBMS)로 처리하기 어려운 비정형 데이터를 일정한 크기의 N개로 분할해 여러 컴퓨터에서 이들을 병렬로 처리한다.
하루 수십만 건의 콜로그와 서비스 로그 데이터를 분석해 맞춤형 서비스를 제공할 수 있으며, 서비스 인프라 자원을 효율적으로 관리할 수 있다. 최근 분석도구로서 효용성을 인정받고 있으며, IBM, EMC 등이 하둡을 비정형 데이터 분석 서비스에 도입했다.
하둡 개발을 주도했던 더그커팅이 참여한 클라우데라는 하둡 배포판(CDH)과 엔터프라이즈 버전을 개발해 공급하고, 지원서비스를 제공한다. 클라우데라 엔터프라이즈 버전은 사용료를 지불하며, 오픈소스가 아니다.
델은 파워에지 서버 시리즈에 RHEL5·6, 센트OS, 수세 리눅스 엔터프라이즈 서버11, 우분투 서버 10.04 LTS 등의 운영체제(OS)에서 운영되는 클라우데라 엔터프라이즈 CDH3 버전을 최적화시켜 제공한다. 델은 이를 레퍼런스 아키텍처 형태로 공개했다.
■델-클라우데라, 하둡 구성 하루만에 완료
델-클라우데라 스택은 맵리듀스와 분산파일시스템, 아파치 하이브, 피그, HBASE, 주키퍼 등 코어 아파치 하둡을 포함한다.
또한, 하둡 클러스터를 구성하기 위한 서버 매니지먼트 SW인 클라우데라의 SCM익스프레스가 제공된다. 하둡 클라스터 배포 설정은 클러스터 규모에 따라 요구조건이 달라진다. SCM 익스프레스는 야후 수준의 하둡 전문성을 보유할 수 있게 해준다.
델은 또한 크로우바SW에 클라우데라의 SCM익스프레스를 결합했다. 크로우바는 오픈스택 클라우드 배포, 초기 서버 부팅, 오픈스택 요소구성을 관리하는 프레임워크다. 아파치 2.0 오픈소스 라이선스 기반으로서, 여러 노드에 걸쳐 오픈스택의 설치와 설정, BIOS나 RAID 설정, 네트워크 발견 등의 작업 수행을 자동화한다.
크로우바를 오픈스택 관리 툴처럼 사용해 상태 모니터링이나 성능 데이터 수집, 경고 등의 작업을 실행할 수 있다.
델의 클라우드 소프트웨어를 총괄하는 존 이고에 이사는 “하둡과 친숙하지 못한 전형적인 기업이 20~40 노드의 하둡 클러스터를 수동으로 구성하는 경우 수주가 걸릴 수 있다“면서 ”클라우드데라 SW와 크로우바의 결합으로 기업들은 수시간 내 빈 껍데기인 랙에 하둡을 설정을 완료할 수 있게 된다"고 설명했다.
그는 “하둡은 상당한 기회를 제공하지만, 여전히 유년기에 있다”면서 “어떤 기업은 하둡에 높은 수준의 하둡 기술을 갖고 있지만, 대부분의 기업들은 누군가 하둡 전문기술을 제공해줄 수 있기를 바란다”며 사용 편의성과 시간단축에 대해 강조했다.
■오픈소스 전략, 어플라이언스로 확장
델은 그동안 우분투, 유칼립투스, 오픈스택 등의 오픈소스 기반 플랫폼 채용에 공을 들여왔다. 그러나 델의 엔터프라이즈 사업은 하드웨어에 OS를 사전구성한 수준에 그쳤었다.
이 회사는 미항공우주국(NASA), 랙스페이스, 시트릭스 등이 참여하는 오픈소스 기반 클라우드 플랫폼 프로젝트인 오픈스택에 창설 초기부터 참여해왔다. 유칼립투스는 델의 파워에지 서버의 핵심 플랫폼이며, 각종 오픈소스 기반 OS들이 델 서버에 탑재됐다.
최근 IBM, 오라클, HP 등은 단순한 하드웨어가 아닌 특정 업무 전용 어플라이언스 판매로 방향을 틀고 있다. 자체 SW를 활용해 데이터웨어하우스(DW), 분석 등 특정 용도를 위한 제품들을 판매하기 시작한 것이다.
IBM의 네티자, 오라클의 엑사로직, HP의 버티카 등이 대표적이다. 단순 하드웨어 제품만 가진 델은 유행에 뒤처진 듯한 인상을 준 게 사실이었다.
경쟁사들은 또한 하둡 채용에도 적극적이었다. IBM이 분석 소프트웨어(SW)전략에 하둡을 투입하는 서비스를 선보였다.
IBM이 개발중인 분석SW '인포스피어 빅인사이트'와 '스트림스'는 기업용 거버넌스 및 보안 기능과 개발자용 통합 툴을 제공하며, 트위터 메시지, 유튜브 동영상, 증권시장 정보 등을 분석해준다.
이 SW를 활용해 IBM은 하둡 기반으로 대용량 스트리밍 데이터를 분석하는 신규 서비스 20가지를 함께 출시할 계획이다.
클라우드 워크로드 분석, 서버 및 스토리지 최적화, '데이터센터 수명주기 비용 분석, 치명적 위협 대응을 자동화하는 보안 분석 등이 대표적이다.
관련기사
- NHN, 오픈소스 '하둡' 쓰는 이유는2011.08.06
- 델, 클라우드 대세에 선두권 추격 '안간힘'2011.08.06
- 야후, 하둡 사업부 분사…'호튼웍스'2011.08.06
- IBM, 분석에 '하둡' 투입…비정형처리 대세 되나2011.08.06
EMC는 데이터 집약적인 분산처리 애플리케이션에 하둡을 활용하는 전략을 공개했다. 이 회사는 하둡 기반 'EMC 그린플럼 HD 커뮤니티 에디션'과 'EMC 그린플럼 HD 엔터프라이즈 에디션' 소프트웨어를 출시하고 '그린플럼 HD 데이터 컴퓨팅 어플라이언스'를 내놨다.
하둡을 EMC 그린플럼 DB와 연결해 단일 솔루션에서 정형, 비정형 데이터를 함께 처리하도록 했다.