[제9회 ACC]스플렁크 "빅데이터 관건, 실패비용 줄이기"

우리는 분석을 시작할 단계에 뭘 발견할지 알 수 없습니다. 모르는 뭔가를 찾아내기 위해 반복적인 실패를 감수할 수 있어야 합니다.

스플렁크 장경운 부장은 17일 서울 잠실 롯데호텔 제9회 ACC 현장에서 '스플렁크를 이용한 운영인텔리전스'란 주제로 이같이 밝혔다.

스플렁크는 실패 비용을 낮추는 빅데이터 전략을 제시했다. 온갖 데이터를 종합해 통찰력을 얻고 의사결정의 적절성을 높이기 위해서는 기존과 다른 분석과 모니터링 기법, 그리고 반복되는 실패 자체를 감수하는 접근방식이 필요하다고 설명했다.

장 부장은 스플렁크가 주력하는 분야인 기업애플리케이션, 제조생산설비, 외부데이터 등의 모니터링과 분석엔 기존 기업용 비즈니스인텔리전스(BI)와 분석 및 모니터링 프로젝트로 갖춰진 인프라가 유연하지 못하다고 지적했다.

그에 따르면 전통적인 방식은 데이터를 DB로 수집, ETL을 거쳐 모델링, DW에 담아 BI, 분석과 모니터링 결과를 얻기까지 절대적으로 시간이 든다. 기업들이 소셜네트워크서비스(SNS), 센서, 로그, 서버환경, 가상화 관리, 스크립트, 설정데이터 등 전에 다루지 않던 데이터소스를 새로 처리하려면 ETL 과정 이후의 시스템을 일일이 손봐야 한다.

그런데 어댑터를 만들고, ETL 대상을 추가하고, 스키마를 새로 디자인해야 한다. DB 운영관점에서든 기술적으로든 실시간성을 기대할 수 없다. 최종적으로 요약 작업을 거치면서 과거 데이터도 사라진다. 스플렁크는 이같은 제약에 구애되지 않는 기술로 소개됐다.

스플렁크의 기술은 머신데이터를 잘 처리할 수 있는 엔진으로 요약된다. ETL과정이 없고 어댑터 개발과 DB스키마 작업이 불필요하고 DB를 관리할 필요가 없다. 회사는 애플리케이션 관리, IT운영, 보안, 컴플라이언스, 비즈니스분석, 웹애널리틱스 분야에 주로 쓰인다고 밝혔다.

장 부장은 설치와 설정만으로도 데이터처리를 위한 앞단 구성이 끝나고 결과를 곧바로 애드혹검색, 차트, 대시보드 형태로 검증 및 시각화할 수 있다며 데이터 수집은 '포워더'라는 에이전트를 통해 거의 실시간으로 가능하고 변경감지시 추가데이터도 곧바로 스플렁크 서버로 전송돼 이벤트에 대한 경고창 생성이나 신속한 탐색을 편리하게 지원한다고 강조했다.

스플렁크는 빅데이터 주요 구성요소로 꼽히는 하둡 환경도 보완해줄 수 있다는 입장이다. 이는 데이터입출력 부하를 분산시키고 기술 자체를 저렴한 비용으로 도입할 수 있다는 하둡의 장점을 인정하지만 해당 기술을 다룰 인력이 조직에 부족할 경우가 걸림돌이라는 지적과 맞물려 있다.

장 부장은하둡 에코시스템은 크고 코어컴포넌트를 잘 다루긴 간단치 않아 기업이 이를 잘 다룰 각각의 엔지니어 그룹을 둬야 현업의 요구에 빠른 대응이 가능하다며 대응할 수 있더라도 수고가 많이 들고 장애 대처나 관리가 어려운데 사람을 직접 키우려면 적잖은 시간이 걸려 실패 비용이 적지 않을 것이라고 주장했다.

스플렁크도 만능이 아니며 완벽하지 않지만 실패에 따른 비용을 최소화할 수 있다는 얘기로 들린다. 스플렁크는 카피단위가 아니라 1일 수집데이터용량에 기반한 라이선스모델로 제공된다. 처리데이터가 늘수록 비싸진다. 시행착오 수준의 적은 데이터만 다룰 땐 '비싸지 않다'는 게 회사쪽 관점의 요지다.