“하둡을 쓰기전에 회사의 비즈니스를 어떻게 새롭게 키울 것인지 방향을 명확하게 정해야 한다. 비즈니스와 개발이 한몸으로 갈 때 나만의 하둡 클러스터의 진화를 예측할 수 있다.”
최주열 델코리아 엔터프라이즈솔루션 세일즈그룹 팀장은 메가뉴스 지디넷코리아가 12일 개최한 제8회 어드밴스드컴퓨팅컨퍼런스(ACC)에서 이같이 말했다.
‘개방형 하둡과 사용자 관점의 빅데이터 환경 구현, 그리고 진화 방향’이란 주제로 강연한 최 팀장은 “기술적으로 하둡은 이미 충분히 사용할 수 있는 단계에 도달했다”라며 “하지만 하둡 클러스터가 늘어나면서 생길 수 있는 여러 생각지 못했던 문제를 미리 고려할 수 있도록 해야 한다”라고 설명했다.
오픈소스인 하둡 프레임워크는 하둡파일시스템(HDFS), 맵리듀스, 주키퍼, 피그, 하이브, HBASE 등 여러 구성요소로 이뤄져 있다. 비정형데이터를 대량으로 수집해 저장하고, 빠른 시간안에 분석해낼 수 있는 성능을 이미 제공한다.
문제는 하둡을 시작한 다음이다. 하둡을 사용하면 기존 관계형 데이터베이스(DB) 기반의 시스템보다 약 370배 빠르게 분석을 처리할 수 있다. 분석 시간이 획기적으로 단축되면서, 더 많은 데이터 분석을 시도하게 되고 확장을 고민하게 된다.
최 팀장은 “하둡 클러스터를 늘릴 때 단순히 서버 CPU 코어가 더 필요한 게 아니라, 메모리와 저장매체의 확장이 문제다”라며 “기본적으로 기업에서 개발자가 원하는 대로 그때그때 구매할 수는 없기 때문에 비즈니스가 멈칫하는 상황이 온다”라고 말했다.
그는 이어 “이를 방지하려면 투자부터 새 비즈니스 모델 창출까지 엔드투엔드의 과정을 비즈니스와 개발이 단일한 방향에서 확신을 갖고 움직여야 한다”라고 덧붙였다.
관련기사
- [제8회 ACC]"빅데이터플랫폼, 카산드라 '올인' 이유는"2012.09.12
- [제8회 ACC]오라클 "DW와 빅데이터는 각자 역할 있다"2012.09.12
- [제8회 ACC]"레볼루션R, 아마존-MS애저에도 OK"2012.09.12
- [제8회 ACC]“ 빅쿼리, 6초면 위키피디아 분석 끝”2012.09.12
그는 방향성을 정한 뒤엔 작은 규모로 시작할 것을 권했다. 방향성에 따라 얼마나 많은 리소스가 필요한지 달라지고, 새로 필요한 투자요소들이 나타나기 떄문이다.
최 팀장은 “초기엔 많은 돈을 들이지 말고 작게 하둡 시스템을 시작하길 바란다”라며 “노트북, 서버 한대만으로도 하나의 하둡 시스템을 꾸릴 수 있다”라고 말했다. 그는 이어 “일단 한번 시작해보고 하나를 시험해보고 나면, 어떤 게 어울리는지, 얼마나 많은 데이터를 넣을 것인지, 얼마나 만은 인력을 투입할 것인지 등의 난제들을 예상할 수 있을 것”이라고 강조했다.