야후, 하둡(Hadoop) 사업화 초읽기

야후의 하둡(Hadoop) 사업이 초읽기에 들어갔다. 인터넷 산업에서 데이터 분석이 유망사업으로 떠오르면서 야후의 새로운 성장동력으로 삼겠다는 포석이다.

27일 월스트리트저널(WSJ) 등 외신은 야후가 하둡 소프트웨어(SW) 엔지니어링 사업부의 분사 작업을 진행중이라고 보도했다.

WSJ에 따르면, 야후의 하둡 사업은 무료 소프트웨어(SW)를 개발해 배포하고, 기업들에게 기술지원을 제공해 비용을 받는 사업형태를 띄게 된다. 야후는 이미 ‘하둡 야후 배포판’을 제공하고 있다. 야후 측은 공식적인 입장을 밝히지 않았다.

야후가 하둡 사업에 나설 것이란 전망은 이미 꾸준히 제기돼온 문제다. 실리콘벨리 벤처캐피털사인 벤치마크 캐피털은 “야후가 하둡회사를 차릴 것”이라고 계속 주장해왔다. 야후는 오픈소스인 하둡에 대해 소유권을 갖지 않는다. 그러나 하둡에 막대한 투자를 지속해왔다.

제임스 코비엘러스 포레스터 리서치 수석 애널리스트는 향후 5년간 하둡 기반 솔루션 시장이 10억 달러 규모로 성장할 것이라고 예측했다. 그는 이 거대한 시장은 상승세라며 하둡은 아직 표준이 없는데 야후가 표준화에 도움을 줄 수 있을 것이라고 덧붙였다 .

벤치마크 캐피털의 로브 베어덴은 이는 엔터프라이즈 소프트웨어 업계에 있어 올해 최대 움직임이다라며 야후는 막대한 수입을 만들수 있고, 새로운 데이터 아키텍처 관리방법의 혁신을 꾀할 수 있다고 말했다.

레이미 스타타 야후 CTO는 향후 어떤 일이 일어나든 야후는 하둡 개발 사업을 하게 될 것이라고 밝히기도 했다.

하둡은 대용량 데이터를 병렬처리하고 분석할 수 있는 오픈소스 분산 파일 시스템의 일종이다. 야후는 2005년 구글이 웹검색 결과의 방대한 데이터를 변환하기 위해 개발한 맵리듀스를 참고해 더그 커팅에 의해 개발됐다.

기존 RDBMS 방식으로 처리하기 어려운 데이터를 일정한 크기의 N개로 분할해 여러 컴퓨터에서 이들을 병렬로 처리한다. 이후 그 결과를 취합해 사용자에게 제공한다. 하루 수십만 건의 콜로그와 서비스 로그 데이터를 분석해 유사 관심 고객의 트렌드를 분석한 개인 맞춤형 서비스를 제공할 수 있으며, 서비스 인프라 자원을 효율적으로 관리할 수 있다.

하둡은 야후를 포함해 이베이, 페이스북, 트위터 등 인터넷 회사들을 중심으로 사용되고 있다. 검색, 이메일, 광고 등에서 데이터 분석을 통한 활용성을 인정받고 있다.