[제8회ACC]“복잡해보이는 하둡, 출발은 이렇게…”

일반입력 :2012/09/12 15:49

“하둡을 쓰기전에 회사의 비즈니스를 어떻게 새롭게 키울 것인지 방향을 명확하게 정해야 한다. 비즈니스와 개발이 한몸으로 갈 때 나만의 하둡 클러스터의 진화를 예측할 수 있다.”

최주열 델코리아 엔터프라이즈솔루션 세일즈그룹 팀장은 메가뉴스 지디넷코리아가 12일 개최한 제8회 어드밴스드컴퓨팅컨퍼런스(ACC)에서 이같이 말했다.

‘개방형 하둡과 사용자 관점의 빅데이터 환경 구현, 그리고 진화 방향’이란 주제로 강연한 최 팀장은 “기술적으로 하둡은 이미 충분히 사용할 수 있는 단계에 도달했다”라며 “하지만 하둡 클러스터가 늘어나면서 생길 수 있는 여러 생각지 못했던 문제를 미리 고려할 수 있도록 해야 한다”라고 설명했다.

오픈소스인 하둡 프레임워크는 하둡파일시스템(HDFS), 맵리듀스, 주키퍼, 피그, 하이브, HBASE 등 여러 구성요소로 이뤄져 있다. 비정형데이터를 대량으로 수집해 저장하고, 빠른 시간안에 분석해낼 수 있는 성능을 이미 제공한다.

문제는 하둡을 시작한 다음이다. 하둡을 사용하면 기존 관계형 데이터베이스(DB) 기반의 시스템보다 약 370배 빠르게 분석을 처리할 수 있다. 분석 시간이 획기적으로 단축되면서, 더 많은 데이터 분석을 시도하게 되고 확장을 고민하게 된다.

최 팀장은 “하둡 클러스터를 늘릴 때 단순히 서버 CPU 코어가 더 필요한 게 아니라, 메모리와 저장매체의 확장이 문제다”라며 “기본적으로 기업에서 개발자가 원하는 대로 그때그때 구매할 수는 없기 때문에 비즈니스가 멈칫하는 상황이 온다”라고 말했다.

그는 이어 “이를 방지하려면 투자부터 새 비즈니스 모델 창출까지 엔드투엔드의 과정을 비즈니스와 개발이 단일한 방향에서 확신을 갖고 움직여야 한다”라고 덧붙였다.

관련기사

그는 방향성을 정한 뒤엔 작은 규모로 시작할 것을 권했다. 방향성에 따라 얼마나 많은 리소스가 필요한지 달라지고, 새로 필요한 투자요소들이 나타나기 떄문이다.

최 팀장은 “초기엔 많은 돈을 들이지 말고 작게 하둡 시스템을 시작하길 바란다”라며 “노트북, 서버 한대만으로도 하나의 하둡 시스템을 꾸릴 수 있다”라고 말했다. 그는 이어 “일단 한번 시작해보고 하나를 시험해보고 나면, 어떤 게 어울리는지, 얼마나 많은 데이터를 넣을 것인지, 얼마나 만은 인력을 투입할 것인지 등의 난제들을 예상할 수 있을 것”이라고 강조했다.