"하둡 HDFS 유용성은 여전하지만, 빅데이터는 새로운 전환기를 맞았다. 비즈니스 도메인에 따라 하둡을 써야할 곳과 솔루션을 써야할 곳을 구분해 최적의 선택을 해야 한다."
인피니플럭스 김성진 대표는 지디넷코리아가 5일 서울 잠실 롯데호텔에서 개최한 제13회 어드밴스드컴퓨팅컨퍼런스(ACC)에서 이같이 말하며 빅데이터의 전환기가 도래했다고 설명했다.
김 대표는 "빠른 빅데이터 처리와 분석이 요구되면서 기업들은 하둡 등 솔루션을 이해하기 시작했고, 적절한 솔루션을 찾기 시작했다"며 "특히 IoT(사물인터넷) 데이터 등 데이터 소스가 폭발적으로 증가하고 있는 상황에서 빠르고 정확한 분석이 필요하다면 다시 고민해야 한다"고 말했다.
그는 데이터베이스의 재발견을 언급했다. 하둡에 등장에 따라 빅데이터 시장에서 무용론을 지적받았던 데이터베이스가 신기술을 만나 새로운 동력을 확보했다는 주장이다.
그에 따르면 하둡은 2006년부터 눈부신 속도로 발전했지만, 설치하기가 힘들고 운영 유지보수가 힘들다는 단점이 있다. 또한 그는 전문 엔지니어 고용도 필수기 때문에 비용도 상당히 발생한다고 덧붙였다.
김 대표는 실제 하둡을 이용하며 데이터 관리에 성공한 사례도 있지만, 선택을 잘못해 실패한 사례도 있다고 말했다.
그는 "하둡은 처리 속도가 너무 느리고, 데이터 입력과 분석을 동시에 할 수 없다"며 "하둡을 분석용도로 사용하기엔 시간이 너무 많이 소요된다"고 말했다.
관련기사
- 퍼블릭 클라우드 기술로 프라이빗 환경 구현을2016.07.05
- "정말로 꼭 필요한 데이터를 찾아라"2016.07.05
- 포시에스 "비대면 금융상품가입-원격창구 운영 현실로"2016.07.05
- "스트리밍 데이터 처리, 하나로"2016.07.05
김 대표는 고속의 데이터 입력과 대량의 데이터 분석이 동시에 가능한 데이터베이스를 사용해야 한다고 조언했다. 편의성이나 성능, 안정성, 확장성을 고려한 선택이 필요하다는 얘기다.
그는 "농협 같은 경우 방화벽이 많이 있는데, 방화벽 노드를 실시간으로 저장해 하루 45억건의 데이터를 저장하고 있다"며 "전세계에서 방화벽에 DB가 들어가는 것은 최초 사례"라고 말했다.