엑스트라홉, 빅데이터 전처리 자동화 솔루션 공개

엑스트라홉은 증가하는 빅데이터 수요로 늘어나는 전처리 작업을 효율화하고 비용을 절감하기 위한 자동화 솔루션을 선보인다고 14일 밝혔다.

빅데이터는 마스터 데이터(Master data), 트랜젝션 데이터(Transaction Data), 비정형 데이터(Unstructured Data)로 구성되어 있다.

각 데이터는 비지니스 인사이트 도출을 위해 수집, 전처리, 저장, 분석 4단계 프로세스를 거친다.

엑스트라홉의 빅데이터 전처리 자동화서비스(이미지=엑스트라홉)

이 중 트랜잭션 데이터와 비정형 데이터의 수집 및 저장 부문은 가장 많은 리소스가 투입되는 분야다. 특히 빅데이터에 대한 수요가 늘어나면서 관련 비용도 지속적으로 증가하고 있다.

현재 빅데이터 수집을 위해 사용하는 API 방식의 경우 업무시스템의 수정 또는 추가 개발 문제, 개발 언어의 다양성, 제품 벤더 및 플랫폼 종속성과 관련되어 있다.

에이전트를 활용하는 방식은 모든 설치 대상 시스템에 적용할 수 없는 기능상의 한계, 성능 저하를 유발하는 시스템 부하 문제, 에이전트 오작동에 의한 시스템 다운 등의 운영 리스크가 발생하는 문제점을 가지고 있다.

엑스트라홉의 자동화 서비스는 네트워크 패킷 데이터를 실시간으로 수집해 구조화된 와이어데이터로 변환 처리하여 빅데이터 수집 및 활용을 개선한 것이 특징이다.

엑스트라홉은 1일 최대 3.3PB의 트랜젝션 데이터를 수집 및 처리할 수 있으며 네트워크 패킷데이터를 실시간으로 필터링 및 변환, 타입 트랜스포메이션 그리고 데이터 클린징을 할 수 있는 기능을 제공한다.

엑스트라홉에 의해 수집된 데이터는 빅데이터 분석 솔루션에서 오픈데이터스트림(Open Data Stream) 또는 레스트 API를 통해 활용할 수 있으며 두가지 방식 모두 실시간으로 처리가 가능하다.