빅데이터, '프라임 타임' 맞이할 준비됐나

최근 IT 업계 화두로 빅데이터가 빠지지 않는다. 하드웨어, 소프트웨어, 서비스 모든 IT 업계에서 모두 관심을 표하고 미래 전략을 내놓느라 분주하다. 그리고 빅데이터를 간과하면 경쟁에서 뒤쳐질 것이란 막연한 부담이 시장을 뒤덮고 있다. 하지만 실상 이를 받아들일 기업들은 더 두고 보자는 분위기다.

데이터에 기초한 분석과 의사결정은 충분히 오래된 주제다. 요즘 말하는 데이터 지향적(Data-Driven) 조직은 이미 오래 전부터 많은 기업들이 가고자 하는 방향이었고, 관련해 데이터 마이닝과 분석 등에 많은 투자가 지속돼왔다. 이런 사실을 놓고 볼 때, 기업들 사이에서 논의되는 빅데이터는 그 중요성은 공감이 가지만 실제 엔터프라이즈 환경에 어떻게 적용할 것인가를 놓고 볼 때 아직은 혼란을 가중시키는 주제이다.

관련 업계에서는 지금까지 나온 빅데이터 관리 및 분석에 대한 접근 방법이 일반적인 기업에게 맞지 않는다고 본다. 흔히 빅데이터를 언급할 때 구글, 페이스북, 아마존 등이 거론된다. 국내에서는 네이버 같은 대형 포털이나 쇼핑몰 사업자가 빅데이터가 유행하기 전부터 관련 노하우를 확보한 상태이다. 최근 자사의 데이터 관리 노하우를 소개한 네이버만 해도 자사의 모든 서비스의 바탕이 데이터이고 2006년부터 모든 데이터를 저장하기 시작했음을 소개한 바 있다.

빅데이터를 논함에 있어 구글, 아마존, 네이버와 같은 기업과 일반 기업은 전혀 다른 기준이 필요하다는 것이 IT 업계의 중론이다. 창업 초기부터 그리고 비즈니스 모델 자체가 빅데이터 위에 있는 기업과 대부분의 중요 데이터가 시스템 단위의 사일로(Silo) 형태로 보관·관리 되어온 일반 기업들과는 분석해야 할 정보의 종류도 다르고 데이터 보관 및 처리 방식도 다르고 이래저래 공통점이 많지 않다.

■엔터프라이즈 환경에 맞는 '빅데이터 개념 정립' 필요

업계에서는 일반 기업에서 빅데이터를 바라볼 때 개념부터 재정의 하는 것을 순서로 보고 있다. ERP, SCM, CRM 등의 기간계 그리고 최근 간간히 엔터프라이즈 환경에서의 빅데이터 활용 예로 거론되는 시설, 장비, 웹 등에 남는 로그분석 등을 놓고 볼 때 기업에서는 모든 데이터가 개별적인 사일로 형태로 존재한다. 그리고 이들 데이터는 정책에 따라 디스크에 담겨 있는 보관 주기가 정해지고 이후 1차, 2차, 3차 백업 미디어로 옮겨진다. 이런 데이터 관리 체제 하에서는 빅 데이터 속에서 의미 있는 정보를 바로 찾아 바로 보는 것이 어렵다.

원하는 데이터를 모아 분석해 가치 있는 정보로 가공하기까지 짧게는 수일 몇 년치 데이터 분석이 필요할 경우 길게는 한 달까지 시일이 걸린다. 이와 관련해 한 기업 IT 부서 관계자는 시스템 별로 데이터 보관 주기와 백업 빈도 등이 다 다른 것이 일반적이라며 현업에서 데이터 분석이 필요할 경우 IT 부서에 데이터를 요청하게 되는데, 현재 시스템에 담긴 데이터 이전 정보가 필요할 경우 IT 부서는 백업 테이프를 찾아 이를 다시 복구하고 데이터 유효성 검사를 마친 후에야 현업 담당자에게 전달할 수 있다고 설명했다.

즉 정형 데이터, 비정형 데이터를 따지기 전에 기업의 데이터 저장 및 백업 환경은 태생적으로 필요할 때 원하는 정보를 찾아 보기 위해 거쳐야 하는 절차가 너무나도 많다. 빅데이터에 뿌리를 내린 구글이나 아마존처럼 동일 데이터를 전 세계 곳곳에 있는 데이터센터에 몇 벌씩 분산 배치해 놓고 필요한 때 원하는 정보를 찾아 보는 데 있어 유연한 구조를 가져가기 어렵다.

■가치 있는 데이터, 어떻게 보관할 지부터 정해야

그렇다면 기존 체제 하에서 기업들은 어떻게 빅데이터 시대를 대비해야 할까? IT 업계에서는 우선 어느 선까지 데이터를 가지고 있어야 할 지 그리고 어떻게 보관 및 관리할 지에 대한 정책 마련이 우선이라 보고 있다.

일반적으로 기업들은 주요 기간계 업무를 대상으로 데이터를 저장하고 백업 받고 장기 보관을 한다. 이외 정보들은 시스템에 연결된 스토리지의 용량에 따라 일정 보관 주기가 끝나면 버려지게 된다. 이처럼 중장기 보관되지 않고 사라졌던 정보들까지 빅 데이터 관점에서 가치를 부여하고 관리되고 보호 되어야 한다는 것이 IT 업계의 시각이다.

그렇다면 빅데이터를 보관하기 위한 기술적 대안들을 살펴보자. 구글이나 아마존처럼 모든 정보를 몇 벌씩 가지고 있을 수 없다면 관리하는 데이터의 범위와 양을 늘려야 비즈니스 의사결정에 필요한 빅데이터 분석에 필요한 기반이 어느 정도 갖추어진다는 것이다.

문제는 비용이다. 급증하는 비즈니스 데이터를 모든 업무를 대상으로 쌓아 두려면 그에 비례하는 스토리지 및 백업 솔루션 비용이 든다. 스토리지 업계에서는 빅데이터 시대 합리적 투자를 위해 다양한 기술과 새로운 솔루션을 검토해 적용하는 것이 답이 될 수 있다는 입장이다.

이와 관련해 김광정 팔콘스토어코리아 이사는 이기종 스토리지 가상화, CDP와 같이 비용 대비 효율성이 높은 데이터 저장, 보호 기술을 활용한다면 기업에서 보다 적은 비용으로 많은 데이터들을 관리할 수 있게 된다라고 말했다.

2013년 빅 데이터는 올 해와 마찬가지로 열풍을 이어갈 것이다. 그리고 많은 IT 업체들이 자사 제품과 솔루션이 빅 데이터 준비가 되었음을 알릴 것이다. 하지만 기업들은 여전히 준비가 덜 되어 있을 것이다.