'공짜는 그만' 새해 빅데이터 시장에 바란다

“무료 POC만 하니 잘 될 턱이 없다.”

하둡 플랫폼 업체 그루터의 권영길 대표가 내린 한국 빅데이터 시장 진단이다.

빅데이터는 지난해 IT업계 가장 뜨거운 화두였다. 관심에 비해 성과는 적었다. 달려드는 곳은 많았지만 효과를 봤다거나, 관련 사업으로 돈을 벌었다는 회사는 찾기 힘들다. 빅데이터를 했다고 홍보에 열을 올렸던 대다수 기업이나 공공기관의 경우 개념검증(POC)만 몇차례 했을 뿐이다.

각계에서 시도했던 POC는 그마저도 무료로 진행됐다. 기업체 정보화조직이 특정사업 예산을 확보하기 위해 사용하는 통상적인 절차란 점에서 이해 못할 바는 아니다. 과거에 없던 시도를 하는 만큼 선뜻 투자하기 힘들 수 있는 탓이다.

권영길 대표는 이같은 시장 풍토에 강도 높은 비판을 내놓는다. 그는 “빅데이터에 있어 무료 POC는 백해무익하다”며 “백만원이라도 POC 비용을 지불하는 시장 환경이 정착돼야 한다”라고 강변한다.

■책임없는 무료 POC는 실패의 길을 간다

무료 POC는 실질적 비용을 수반하지 않기 때문에 이익을 보기 위한 열의를 불러일으키지 못한다. 또한 어느 누구도 책임지지 않는 구조를 갖는다. 내부 조직간 협력은 고사하고, POC를 의뢰한 조직조차 강건너 불구경이다.

기업은 무료 POC에 성과를 기대하지 않으니 ERP나 CRM, 시스템 로그기록 같은 내부의 데이터를 넘겨주길 꺼린다. 필요를 느끼지 못하기 때문이다. 성과도 절실하게 기대하지 않게 되고, 지원도 하지 않게 된다. 실패해도 본전이란 심리다.

“빅데이터 프로젝트 수행 업체는 의뢰고객사의 내부 데이터를 넘겨받아야 시도해볼 거리를 비로소 생각할 수 있다. 데이터를 제공받지 못하면 애초부터 빅데이터없는 빅데이터 프로젝트가 진행되는 것이다.”

빅데이터 분석은 데이터의 양이 많을수록 좋은 결과를 얻을 가능성이 높다. POC 수행업체는 부족한 데이터와 협조 속에선 만족스러운 결과를 내기 어렵다. 기업은 한두번 시도 후 불만족스러운 결과를 이유로 프로젝트를 철회하면 그뿐이다.

이런 상황이 반복되면 결국 국내의 빅데이터 시장은 피지 못하고 사라져간다. 사라지지 않는다 해도 고가의 상용솔루션에 의존하는 돈잔치만 남을 소지가 크다.

■POC가 곧 도입, 분석과정의 시행착오에 가치둬야

무료 POC 대신 일정의 비용지불을 요구하는 권 대표의 입장은 빅데이터 처리의 요소 기술인 하둡에서 근거를 찾는다. 하둡을 이용하는 빅데이터 프로젝트는 POC가 곧 도입이다. 하둡의 강점인 확장성 때문이다.

하둡은 작은 규모로 시작해 언제든 쉽게 대규모로 확장가능하다. 서버 한두대, 심지어 PC한대로도 하둡을 시작할 수 있다.

그렇다면, ‘어차피 하둡은 오픈소스인데 그냥 가져다 쓰면 되지 않나’란 생각을 하기 마련이다. 문제는 프로젝트 규모를 키울 때다. 국내 굴지의 대기업이 하둡을 직접 구축하겠다고 나섰지만 수년동안 투자 후 고가의 상용솔루션을 구입하며 포기했다.

“빅데이터 프로젝트 사이클은 ‘수집-저장-분석-서비스’ 순이다. 이 중 수집과 저장을 위한 플랫폼 마련이 가장 어렵다. 전문업체의 역할은 분석까지의 기반을 다져주는 것이다. 전문업체와 플랫폼이 필요한 건 그 때문이다.”

하둡이 어렵다는 인식은 데이터 수집 시 발생하는 무한대에 가까운 장애시나리오 탓이다. 수집 작업을 얼마나 안정적으로 유지하느냐, 고도로 자동화된 관리도구를 제공하느냐가 플랫폼과 전문업체의 역량을 결정한다.

빅데이터를 한다는 기업에게 필요한 부분은 하둡 시스템 안정화 과정에 시행착오를 겪는 게 아니다. 하둡 플랫폼 위에서 빅데이터를 분석하는 과정 속에서 겪는 시행착오가 필요하다. 빅데이터의 인사이트는 분석 ‘과정’에서 발생한다. 시행착오의 누적이 ‘인사이트의 질’을 결정하는 것이다.

그에 따르면, 빅데이터에 시간을 투입한다면 인프라 구축이 아니라 분석에 시간을 투입해야 한다. 전문업체의 플랫폼과 서비스에 대한 투자는 인프라에 투입할 시간과 비용의 낭비를 줄여주는 것이다.

■외국산 잠식의 과거를 반복하지 않으려면

권 대표는 빅데이터 프로젝트의 투자대비이익(ROI) 검토를 주문한다.

“애초부터 빅데이터를 하겠다고 결정했다면, 기본적인 발상의 전환이 필요하다. 수테라바이트에 달하는 데이터 처리를 고가의 데이터웨어하우스(DW) 구매로 감당할 수 있는가 여부다. 그럴 여력이 없다면 하둡 플랫폼에 대한 초기 비용을 지불하고 시작하는 게 총소유비용(TCO)과 초기투자비용면에서 저렴하다.”

빅데이터를 위한 컨설팅과 POC 비용지불은 플랫폼 이용에 대한 비용이고, 전문업체의 지적재산권 사용권 구매로 봐야 한다. 권 대표가 절실히 무료POC에 목소리를 높이는 또 다른 이유다. 국내 업체가 무료 POC의 반복으로 겪게 될 일이다.

“그루터같은 소규모 업체에게 POC는 상당한 역량을 투입해야 하는 작업이다. 한정된 사람과 시간, 노력을 한 곳에 투입하면, 다른 기회를 포기해야 한다. 무료 POC 진행으로 보는 출혈이 큰 것이다. POC 후 실제 구축 프로젝트로 전환되면 다행이지만, 무료 POC의 반복이라면 결과는 뻔하다.”

이는 국내 빅데이터 시장이 외국계 업체에 잠식된다는 우려로 이어진다. 국내 전문업체가 다 사라지면 고가 DW나 데이터처리솔루션이 빅데이터의 탈을 쓰고, 외국 하둡업체에 시장을 잠식당할 게 당연하다는 주장이다.

“클라우데라의 하둡 플랫폼을 구매했다고 치자. 만약 구축한 시스템에 문제가 발생했다면? 미국의 클라우데라가 한국 고객에 아낌없는 지원을 제공할 것인가 생각해볼 문제다.”