빅데이터의 상징 하둡, 예상보다 안 크는 이유

오픈소스 소프트웨어로 제공되는 하둡은 빅데이터 열풍을 대표하는 기술로 꼽힌다. 하둡은 대용량 데이터 분석을 위한 플랫폼으로 그동안 기업 환경에서 분석의 시각지대에 놓여 있었던 비정형 데이터들을 활용할 수 있도록 한다는 점에서 잠재력을 인정받아왔다. 갈수록 떨어지는 스토리지 가격은 하둡의 확산을 예고하는 전주곡으로 통했다.

그러나 아직까지 하둡은 엔터프라이즈 환경에서 마이너한 위치에 머물러 있다. 최근 가트너 보고서에 따르면 계속되는 빅데이터 열풍에도 불구하고 하둡 수요는 그에 걸맞는 힘을 받지 못하고 있는 것으로 나타났다.

가트너는 이번 보고서를 위해 284명의 글로벌 IT 및 비즈니스 리더들을 조사했다. 대기업 종사자들을 상대로 조사를 진행했다. 조사 결과 응답자의 54%가 현재로선 하둡에 투자할 계획이 없다고 했다. 18%가 2년안에 투자 계획이 있다고 답했다. 26%는 하둡을 배치했거나 파일럿 프로젝트를 진행중이었다. 그러나 이들은 다른 빅데이터 기술에 적극적으로 투자하는 양상을 보였다. 조만간 투자할 계획이 없다는 응답자가 많은 것은 하둡 수요가 예상보다 저조하다는 것을 의미한다는 것이 가트너 설명이다.

하둡이 확산되지 못하는 가장 큰 이유로는 기술 역량 확보가 어렵다는 점이 꼽혔다. 57%가 하둡과 친해질 수 없는 이유로 기술 격차를 들었다. 하둡은 예전부터 다루기 만만치 않은 기술이라는 평가를 받아왔다. 내부에서 하둡을 소화할 수 있는 내재화 역량없이, 어설프게 도입하면 효과를 보기 힘들다. 이 같은 상황이 기업들이 하둡 도입을 망설이게 하는 요인이 되고 있다는 설명이다.

가트너 조사 결과 응답의 절반 가까이가 하둡은 우선순위가 아니라고 답했다. 다수가 하둡을 필요가 없거나 긴급한 비즈니스 이슈로 보지 않는다는 얘기였다. 가트너는 하둡이 직면한 문제를 오버킬(Overkill)이라는 키워드에 담았다. 하둡을 수행하기 위해 들어가는 돈이, 예상되는 이익과 비교해 상대적으로 너무 많다는 의미다.

하둡을 도입한 기업 관점에서 제대로 쓰고 있는지도 미지수다. 실제 사용자수는 꽤 적다는 조사 결과가 나왔다. 가트너에 따르면 이번 조사 응답자의 70% 이상이 회사에서 1~20명만이 하둡에 접근하고 있다고 답했다.

빅데이터 관련 업체들은 기업들이 하둡을 도입해 내재화하는 것이 만만치 않은 것을 감안해 통합 패키지 솔루션을 적극 판매하려는 모습이다. 오라클이나 SAS가 대표적이다. 오라클이 최근 공개한 '오라클 빅데이터 디스커버리'는 하둡을 시각적으로 보여주며 빅데이터 인사이트를 발견, 탐색, 변형, 디스커버리 및 공유할 수 있는 엔드투엔드 솔루션이다. 조직 내에서 점차 더 많은 비즈니스 분석가들이 빅데이터 자산에 접근할 수 있게 되며, 이를 통해 리스크를 줄이고 빅데이터 프로젝트에서 보다 빠르게 데이터의 가치를 찾을 수 있도록 도와 준다는 것이 오라클 설명이다.