야후, 하둡 사업부 분사…'호튼웍스'

포털업체 야후가 하둡 비즈니스를 위한 조인트벤처 설립을 공식발표한다. 이르면 28일 발표될 것으로 보인다.

27일(현지시간) 기가옴 등 외신은 야후가 이번주 중 아파치 하둡 상용화 회사 설립을 공식 발표할 것이라고 보도했다. 기가옴에 따르면, 야후에서 분사될 하둡 회사의 명칭은 호튼웍스다. 코끼리를 주인공으로 하는 닥터 수스의 어린이동화 'Horton Hears a Who'에서 따왔다. 아파치 하둡의 상징이 코끼리다.

지난 5월 월스트리트저널을 야후가 하둡 사업을 위해 별도 회사를 설립할 계획이라고 보도한 바 있다. 당시 야후 측은 공식답변을 거부했었다.

하둡은 대용량 데이터를 병렬처리하고 분석할 수 있는 오픈소스 분산 파일 시스템의 일종이다. 야후는 2005년 구글이 웹검색 결과의 방대한 데이터를 변환하기 위해 개발한 맵리듀스를 참고해 더그 커팅이 개발했다.

호튼웍스는 야후의 하둡 엔지니어들을 모아 작은 팀으로 구성된다. 또한 아파치 하둡 프로젝트 기반 상용버전을 만들고 대용량 비정형 데이터를 병렬처리할 수 있는 오픈소스 도구를 개발한다. 야후는 하둡 개발 이후 약 70% 이상의 코드에 기여했다.

무료 소프트웨어(SW)를 개발해 배포하고, 기업들에게 기술지원을 제공해 비용을 받는 사업형태다.

하둡은 기존 RDBMS 방식으로 처리하기 어려운 데이터를 일정한 크기의 N개로 분할해 여러 컴퓨터에서 이들을 병렬로 처리한다. 이후 그 결과를 취합해 사용자에게 제공한다. 하루 수십만 건의 콜로그와 서비스 로그 데이터를 분석해 유사 관심 고객의 트렌드를 분석한 개인 맞춤형 서비스를 제공할 수 있으며, 서비스 인프라 자원을 효율적으로 관리할 수 있다.

하둡은 야후를 포함해 이베이, 페이스북, 트위터 등 인터넷 회사들을 중심으로 사용되고 있다. 검색, 이메일, 광고 등에서 데이터 분석을 통한 활용성을 인정받고 있다.

호튼웍스는 다음 세대의 특징과 기능을 통합하는 것에 의해 하둡을 더 쉽게 이용하고, 워크로드에 최적화하는 것을 목표로 한다. 맵리듀스와 파일시스템 상에서 가동되는 현재보다 더 높은 수준의 매니지먼트 도구를 포함한다. 이 회사는 사업을 진행하면서 아파치 재단과 밀접한 관계를 유지할 계획이다.

기가옴의 데릭 해리스는 “호튼웍스의 하둡 시스템이 EMC, IBM, 데이터스택스 등과 같은 IT업체들이 채용한 하둡시스템보다 진보됐음을 증명해야 한다”라며 “또, 야후에 최적화된 것이 아니어야 채택될 수 있다고 전망했다.

데릭 헤리스는 이어 하둡이 여전히 매출을 만들어내는데 실패하고 있다는 점을 지적했다. 호튼웍스보다 먼저 설립한 클라우데라가 있지만 수백만달러의 매출을 거두는데 불과하다. 벤처캐피털 등의 하둡에 대한 투자를 유지하는데는 부족한 액수다.