"IoT 실시간 분석, 하둡-인메모리 한계 넘어야"

제조업계의 생산효율 관리나 금융 또는 재난안전 분야의 사고 예방처럼 사물인터넷(IoT)과 맞물린 실시간 데이터분석 요구사항에 대응하려면 빅데이터 트렌드의 대세인 하둡을 넘어선 수단이 필요하다는 진단이 나왔다.

김영일 굿모닝아이텍 상무는 지디넷코리아가 27일 서울 잠실 롯데호텔에서 개최한 제12회 어드밴스드컴퓨팅컨퍼런스(ACC)에서 'IoT 빅데이터 실시간 분석을 위한 리얼타임애널리틱DBMS'이란 주제로 강연을 진행했다.

김 상무는 IoT의 부상으로 대두된 실시간분석의 중요성을 강조했다.

IoT 트렌드와 맞물려 데이터분석의 중요도는 점점 증가 추세며, 차별화된 서비스 제공의 전제조건인 실시간 데이터분석의 가치도 커졌다. IoT 실시간 분석을 위해 100억건 이상 5테라바이트(TB) 이상의 규모, 초당 100만건 이상의 증가 속도, 지리적으로 100곳 이상 분산된 장소의 엣지 네트워크를 아우르는 연결, 1초 미만의 쿼리 응답 시간이 요구된다.

이에 IoT를 위한 실시간 데이터분석 요구에 알맞은 플랫폼 기술에 대한 관심도 고조됐다. 굿모닝아이텍은 하둡플랫폼 기반의 데이터 수집, 저장, 처리와 분석, 시각화 기술로 시스템을 구성하는 모델이 기존 비즈니스인텔리전스(BI)와 데이터웨어하우스(DW)의 구조와 문제점을 상쇄하는 방향으로 확산되고 있다고 봤다.

다만 하둡은 여전히 기업들에게 '진입장벽'이 되고 있다는 지적이다. 김 상무는 하둡 핵심 사상이 기존 시스템 대비 저렴한 구현 비용이었지만 하둡을 위한 하드웨어와 소프트웨어 지원비용 증가를 겪는 사례가 있고 아키텍처의 한계를 인정하는 분위기도 형성되고 있다는 진단을 내린 조사업체들의 분석을 인용했다.

김 상무는 기존 데이터분석 기술 가운데 대량병렬처리(MPP) 방식의 어플라이언스와 하둡 데이터 플랫폼을 결합한 방식, SAP HANA 또는 오라클 타임스텐이나 알티베이스 하이브리드DB 등 실시간성을 극대화한 인메모리 기반 데이터처리 플랫폼은 각각의 한계를 갖고 있다고 평가했다.

김 상무는 "하둡은 배치처리와 검색에 강하지만 SQL기반으로 쓰기엔 어려움이 있었고 (맵리듀스를) 아는 사람이 적어 기술 습득 부담이 있어 데이터 저장은 하둡에 하고 분석은 관계형DB에 저장해 활용하는 경우가 흔해졌다"며 "인메모리의 경우 대용량데이터를 저장하기엔 수용 한계가 있어 원하는 분석을 수행할 수 없는 경우가 있다"고 지적했다.

그는 빅데이터의 실시간 요건으로 어떤 스트림이나 파일 형태의 데이터든 연속적으로 적재하고, 수십억 레코드를 엔진에서 즉시 처리하고 초고속 쿼리를 수행하는 빠른 응답속도, 실시간모니터링과 대시보드 등 인터랙티브 분석을 지원하면서, 지역적인 분산처리가 가능하면서 낮은 총소유비용(TCO)이 보장돼야 한다고 주장했다.

굿모닝아이텍의 해법은 이 회사가 국내 총판 자격으로 공급하고 있는 IoT용 분석플랫폼 DB '파스트림'이다. 굿모닝아이텍 측은 파스트림이 경쟁사 솔루션 대비 빠른 응답 속도, 페타바이트 규모의 데이터를 실시간 수용해 처리할 수 있는 성능, MPP 분산데이터와 클러스터 및 컬럼형DB 기술 지원, 기존 기업들의 BI/DW인프라와 쉬운 통합 등을 지원해 더 나은 실시간 분석을 실현하다고 주장했다.

그에 따르면 버티카, 레드시프트, 오라클, 인포믹스, 카산드라, 몽고DB, 클라우데라, 호튼웍스, 스파크, 샤크 등 파스트림 이외의 제품이나 기술이 IoT의 6가지 요구사항을 충족하지 못한다. 빅데이터의 규모, 빠른 데이터 증가세, 엣지 네트워크 분석 범주, 실시간 분석 성능, 플랫폼과의 통합, IoT에 알맞은 스토리지 구조 등이 그 요건이다.

굿모닝아이텍은 파스트림이 IoT 실시간 데이터분석에 걸맞는 솔루션이라 강조했다. 실시간 데이터 적재와 조회를 처리할 수 있고 표준 SQL을 지원하며 x86서버와 리눅스 시스템으로 하드웨어 비용을 절감해 주고 분산 환경을 우한 엣지 애널리틱스를 지원하며 다양한 도입 사례를 갖췄다고 회사측은 주장하고 있다. 김 상무는 파스트림을 도입한 국내외 사례를 소개했다.