2013년의 빅데이터, 美 업계 전문가 전망

올해 빅데이터는 전세계 이목을 잡아끈 주제였다. 하둡이 주목을 받아 기술적인 붐을 일으켰다. 이제 빅데이터는 새해 새로운 단계에 돌입할 양상을 보인다.

19일(현지시간) 미국 지디넷 블로거 앤드류 브루스트는 기고를 통해 2013년 빅데이터 분야 전문업체들로부터 모은 새해 전망을 소개했다.

빅데이터 기술에 대한 전망과 함께 그로 인해 발생할 여러 변화들이 예견된다.

■하둡의 2013년

'빅데이터‘ 하면, 가장 많이 언급된 단어가 하둡이다. 하둡은 올해 빅데이터 처리를 위한 가장 효과적인 솔루션으로 주목받았다.

존 슈뢰더 맵R 최고경영책임자(CEO)는 하드웨어가 하둡 사용을 위해 최적화될 것이라고 전망했다. 마이크 호스킨스 퍼바시브소프트웨어 최고기술책임자(CTO)는 엔터프라이즈 친화적인 하둡의 수요가 폭발적으로 늘어날 것이라고 예상했다.

앤드류 브루스트는 두 업계 관계자의 발언을 전하며 하둡 자체의 힘뿐 아니라 기업의 데이터센터에서 하둡을 공급하고 통합하는 전반적인 도구가 더 많이 필요해질 것이라고 전망했다.

슈뢰더 맵R CEO는 “하둡 전문가는 빠르게 늘어나고 있지만 재능의 부족함은 남아 있다라며 하둡을 위한 SQL 기반 도구들은 계속 확장할 것이라고 덧붙였다. 호스킨스 퍼바시브 CTO는 현존 데이터웨어하우스는 실패할 것이라고 전망했다.

■하둡 이후의 빅데이터

SQL-하둡 하이브리드 제품을 공급하는 레인스토어란 회사는 기업들이 빅데이터 관리에 하둡의 대안 기술을 찾을 것으로 예견했다.

레인스토어 측 관계자는 엔터프라이즈 빅데이터 이니셔티브는 샌드박스 밖으로 나올 것이고, 사업과 기술 요건의 확실한 세트를 정의한다고 전망했다. 맵R의 슈뢰더 CEO는 매출 생성의 사례가 비용절감 애플리케이션에게 승리할 것이라고 밝혔다. 기업들이 빅데이터 성숙모델의 다음 레이어로 이동할 것이란 전망이다.

브루스트는 많은 빅데이터 사용자들이 아직까지 포괄적인 해결책을 얻지 못했다고 지적했다. 퍼바시브의 호스킨스 CTO 역시 데이터 품질은 엔터프라이즈의 뜨거운 감자로 계속될 것이라고 예측했다.

■맵리듀스 의존 줄고, 하둡 침투력 커지고

브루스트는 빅데이터 기술에 있어 맵리듀스에 대한 의존이 줄어들고, 엔터프라이즈 소프트웨어 스택에 하둡이 더 깊숙하게 침투할 것으로 예상했다.

맵리듀스 의존성이 작아지는 것은 클라우데라의 임팔라, 마이크로소프트의 폴리베이스 같은 맵리듀스 우회 제품들을 의미한다. 이 기술들은 하둡 분산파일시스템(HDFS)이 더 많은 주도권을 쥐게 할 것으로 예상된다.

맵R의 예견은 SQL 기반 도구들이 계속 성장한다는 쪽이었다. 반면, 퍼바시브 측은 YARN 하둡이 게임을 바꾼다라며 YARN이 하둡의 맵리듀스 애플리케이션뿐 아니라 다양한 다른 애플리케이션 형태도 돌릴 수 있게 한다고 설명했다.

브루스트는 하둡이 업계 표준으로 자리잡았다는 점과 표준들이 더 높은 수준의 소프트웨어 도구의 기반이 된다는 점을 이유로 꼽았다. 그리고 더 많은 BI, 분석 도구들이 하둡의 기능을 내부적으로 더 많이 통합하게 될 것이라고 밝혔다.