최근 미국 대통령 과학기술자문위원회(PCAST)는 “디지털 미래를 디자인하다”라는 보고서를 통해 ‘모든 미연방 정부기관들은 ‘빅데이터’ 전략이 필요하다”는 주장을 제기했다.
빅데이터란 용어는 일정시간에 데이터를 처리, 저장, 관리할 때 흔히 쓰이는 소프트웨어(SW)의 허용범위를 넘어서는 데이터 덩어리를 가리킨다. 예를 들면 웹로그, 센서 네트워크, 소셜 미디어, 통신 네트워크에서 저장하는 상세 정보나 천체 관측, 생물학적 시스템, 군사 방위, 의학 기록, 사진과 비디오 아카이브 등이다. 이런 대용량 정보를 효율적으로 처리하려면 무공유 방식 관계형DB나 맵리듀스 프로그래밍 프레임워크, 대용량 병렬처리(MPP) 프레임워크 등 클라우드 인프라에 관련된 별도 기술이 필요하다.
28일 국내에 소개된 이 119페이지짜리 보고서는 센서와 데이터가 급증하면서 이를 취합, 관리, 분석하는 작업이 중요해짐에 따라 ‘데이터를 지식으로, 지식을 행동으로 변환’하는 전략에 집중할 것을 각 기관에 주문한다.
보고서를 쓴 PCAST 산하 연방네트워킹 및 IT연구개발(NITRD) 리뷰작업반 연구진 소속인 스티븐 브롭스트 테라데이타 최고기술책임자(CTO)는 “제타바이트시대에 진입한 현재 ‘모든 연방 정부 기관이 빅데이터 전략을 꾀해야 한다’는 명제는 더 이상 과장이 아니다"라며 "선도업체들은 이미 빅데이터 전략을 보강해 나가고 있다”고 지적했다.
관련기사
- [도전 2011]한국EMC, 클라우드-빅데이터 두마리 토끼2011.03.28
- 테라데이타, 비정형 데이터 분석업체 인수2011.03.28
- 테라데이타, 비정형 데이터 분석업체 인수2011.03.28
- 테라데이타-월마트, DW 확장위한 파트너십 강화2011.03.28
그에 따르면 주요 기업들은 동시다발적 쿼리를 처리하며 포괄적인 대시보드 구성과 관리를 가능케하는 빠른 성능을 갖춰나가는 한편 실시간 분석과 의사결정을 지원하기 위한 기술 기반을 마련중이다. 예를 들어 이베이(eBay)를 포함한 테라데이타 고객사는 글로벌 웹에서 데이터 마이닝을 수행한다. 테라데이타는 모든 대용량 데이터 솔리드 스테이트 드라이브(SSD)기반 환경으로 설정할 수 있는 상용 DB플랫폼을 제공하는 업체로 자리잡고 있다고 강조했다.
빅데이터 솔루션 컨설팅 업체 윈터 코퍼레이션의 리차드 윈터 대표는 “정부의 목표는 대용량 데이터를 분석해 더 빠르고 정확한 의사결정을 내리는 것”이라며 “이를 위해서는 초병렬방식의 데이터웨어하우스(DW) 플랫폼, 맵리듀스 등을 포함하는 DB툴을 구축해 미래지향적 분석환경을 갖춰야 한다”고 말했다.