"한국 빅데이터 시장 왜곡되고 있다"

국내에 불어닥친 빅데이터 열풍이 잘못된 시각과 준비 부족으로 왜곡되고 있다는 날선 지적이 쏟아지고 있다.

오랜 시간 빅데이터 분야를 준비해온 전문가들은 국내 IT시장이 빅데이터의 정의조차 잘못 내린 채 표류하고 있다고 날을 세웠다.

전문가들이 일단 지적하고 나선 것은 빅데이터의 정의다. 권영길 그루터 대표는 “빅데이터는 데이터를 보는 관점 자체가 완전히 바뀌는 패러다임의 전환이다”라며 “지금 국내에서 통용되는 빅데이터란 말은 기존의 데이터 분석에서 단어만 바꾼 것으로 접근자체가 잘못됐다”라고 말했다.

이들은 현재의 흐름대로라면 프로젝트의 실패가 반복되고, 결국 빅데이터 시장 자체가 붕괴될 수 있다고 우려했다.■데이터 패러다임의 전환…빅데이터는 분석이 아니다

빅데이터란 데이터를 바라보는 전혀 새로운 관점이다. 이전까지 버렸던 데이터까지 모두 모아 새로운 관점으로 전혀 다른 유형의 가치를 만들어내는 행위 전체, 혹은 플랫폼이 빅데이터인 것다. IT 측면으로 이런 행위를 뒷받침하는 데이터 생성부터 흐름, 소비까지의 생명주기 관리 플랫폼이다. 하둡은 그런 플랫폼 가운데 현재까지 선두에 위치한 플랫폼이다.

데이터는 역사 이래 존재했다. 웹페이지 접속 로그기록처럼 무수한 데이터들이 있었지만, 너무 거대해 엄두를 내지 못하고 중요한 것을 제외하고 관리하지 않았을 뿐이다. 스마트폰, SNS, M2M 등으로 데이터가 비약적으로 증가했다고 하지만, 이는 데이터가 양적으로 증가했다고 표현해야 한다.

빅데이터란 말이 성립하려면, 기존엔 버려졌던 데이터가 생명력을 얻을 수 있었던 계기를 봐야 한다. 어마어마한 데이터를 싸고, 쉽게 설치해 데이터를 처리할 수 있게 된 계기는 분산파일시스템 ‘하둡’의 등장이다.

하둡은 저가의 서버와 그에 내장된 하드디스크(HDD)들을 사용해 엄청난 규모의 데이터를 처리한다. 값비싼 외장 스토리지, 데이터웨어하우스(DW) 등을 사용하지 않음으로써, 이전까지 엄두도 못냈던 막대한 데이터를 활용해 투자대비 수익률(ROI)을 달성할 여건을 마련한 것이다.

하둡은 또한 분산컴퓨팅 기술에 쉽게 접근할 수 있는 전기를 마련했다. 하둡은 데이터 분석에 쉽게 설치할 수 있는 프레임워크를 제공하고, 사용법 자체는 단순하다. 규모도 선형적으로 확장가능하다.

국내의 현실을 돌아보면 국내에서 언급되는 빅데이터는 분석에 초점을 맞추고 있다. 빅데이터를 전체 플랫폼으로 보면 분석 솔루션은 구성요소 중 하나에 불과하다. 데이터의 기본적인 양만 많고 이를 효과적으로 관리할 수 있다면 분석 솔루션의 품질은 중요하지 않다.

한재선 넥스알 대표는 “분석 알고리즘이 좋지 않아도 전체 데이터가 많다면 성능은 얼마든지 좋아진다”라며 “하둡이란 시스템을 통해 창조적으로 생각해서 전에 보지 못한 것을 찾아내고 만들어낼 수 있는 인프라를 갖추는 게 가장 중요하다”라고 말했다.

권영길 그루터 대표 역시 “기존의 데이터 분석 관점을 버리지 않는 한 아무리 새로운 솔루션을 도입한다 해도 진정한 빅데이터의 가치를 얻어낼 수 없다”라고 단언했다.

■관심과 수요를 받쳐줄 하둡 인력이 없다

빅데이터 처리를 위한 하둡으로 넘어가 현실을 바라보면 문제는 더 심각하다. 일단 국내의 하둡 시스템을 오랜 시간 운영해본 경험자가 손에 꼽힌다. 인력이 적다보니 전문회사도 드물다. 그루터, 넥스알 등을 제외하고 하둡 전문업체를 찾기 힘든 상황이다. 이는 설치는 쉽지만 실제 운영은 어려운 오픈소스란 태생에서 비롯되는 현상이다.

한재선 넥스알 대표는 “오픈소스인 하둡은 대규모로 운영해본 경험을 갖지 않고는 쉽지 않다”라며 “10대 이상의 서버에서 하둡 환경을 구성해보고 튜닝하고 수없이 발생하는 여러 버그들을 고쳐봐야 제대로 사용할 수 있다”라고 말했다.

권 대표는 “국내엔 하둡과 빅데이터 프로젝트를 받쳐줄 업체가 없다”라며 “하둡은 개발자가 아키텍처 전반을 이해하고 오랜 시간 실제 운영경험을 쌓아야 하는데 기다려주지 못하는 문화의 한국은 어디서도 인력을 키우지 못했다”라고 설명했다. 그는 데이터를 바라보는 관점을 바꾸지 않는데 아무리 하둡을 쉽게 설치해도 운영하는게 어려울 수밖에 없는 것이라고 덧붙였다.

최근 들어 공공, 연구기관, 대형기업 등을 중심으로 빅데이터 프로젝트가 조금씩 진행되고 있다. 오픈소스를 사용해 비정형 데이터를 분석하고, 가치있는 정보를 뽑아내겠다는 프로젝트들이다.

이런 와중에 글로벌 IT업체들이 오픈소스 하둡을 묶어 빅데이터 솔루션으로 공급하겠다고 나선 상태다. 오라클, IBM, EMC, 테라데이타 등이 하둡을 쉽게 사용하게 해준다며 연일 솔루션을 쏟아내고 있다.

한재선 대표는 “수요 증가와 인력의 경험부족이란 거대한 격차를 글로벌 벤더들이 빅데이터 패키지 상품과 전문성으로 메우겠다고 나선 모습”이라며 “그러나 유명 벤더라 해도 실제 한국시장 인력들이 하둡에 대한 노하우를 보유했느냐는 생각해볼 문제”라고 설명했다.

그는 “사람들이 오픈소스 SW를 쉽게 보고 상용 SW처럼 가져다 설치하면 끝이라고 착각하고 있다”라며 “오픈소스를 도입한다는 것은 단순히 제품만 구매하는 게 아니라 현업에 적용하고 운영하면서 장애를 줄이는 전체 역량을 구입하는 것으로 생각해야 한다”라고 설명했다.

권영길 대표는 국내 SI산업의 근본적인 문제점을 꼬집었다.

그는 “IT역량을 사람수로 평가하고 3개월, 6개월이란 단기간에 원하는 성과를 달성하기만 추구하는 국내 SI사업 행태로는 빅데이터는 반드시 실패한다”고 강조했다. 그는 이어 “SI는 코딩, 설계의 작업이지 아키텍처를 꾸미는 일은 아니기 때문에 잘 모르고 접근하면 실패할 수밖에 없다”고 덧붙였다.

■“POC 개념, 개발자의 도전정신, 인내심”

인력도 없고, 구조자체도 준비되지 않은 국내는 결국 빅데이터에 헛돈만 쓰게 되는 것일까. 그래도 아직 늦지는 않아 보인다.

권 대표는 “하둡과 빅데이터는 전혀 새로운 시도로 가치를 만들어내는 작업이기 때문에 절대 미래 가치를 보장하지 못한다”라며 “파일럿 개념으로 출발한 후 새로운 걸 계속 테스트하고, 어떤게 가치 있는 데이터인지 알아내 유의미한 결과가 나온 뒤에 규모를 확장해 서비스를 시작하는 방식이 바람직하다”고 조언했다.

그는 “빅데이터 플랫폼은 구축과 운영, 안정화하기까지가 힘들 뿐 이를 이용하는 사용자는 엑셀만 하면 쓸 수 있을 정도로 쉬워질 것이다”라고 덧붙였다. 그때까지 인프라를 운영할 수 있는 역량을 키운다면 가능성을 찾을 수 있을 것으로 보인다.

한재선 대표는 “국내에 풍부한 경험을 쌓은 하둡 개발자가 없고, 키우지 않았다고 볼 수도 있지만 사실은 개발자 자신들이 노력하지 않은 탓도 있다”라며 “개발자 본인이 교육과정을 이용하고 커뮤니티에서 활발하게 활동하면서 경험을 쌓는 적극성을 가진다면 2~3년이면 역량을 키울 수 있다”라고 말했다.