AWS "스트리밍 데이터 관리 더 쉽게"

[라스베이거스(미국)=김우용 기자] 아마존웹서비스가 스트리밍 데이터 수집과 저장을 간편하게 처리하는 데이터 서비스를 선보였다.

AWS는 6일(현지시간) 미국 라스베이거스에서 개최한 ‘AWS 리인벤트 2015’ 컨퍼런스 첫날 ‘아마존 키네시스 파이어호스(Kinesis Firehose)’를 출시한다고 밝혔다.

키네시스 파이어호스는 2년전 출시된 아마존 키네시스를 더 간단히 활용하게 만든 서비스다. 수집과 처리에 들어가는 수고를 AWS가 대신하고, 사용자는 데이터 활용에 더 집중하게 한다는 취지로 만들어졌다.

AWS 키네시스 파이어호스 기능

아마존 키네시스는 대규모 스트리밍 데이터를 수집, 처리, 저장하는 파이프라인이다. 키네시스 파이어호스는 끊임없이 흘러들어오는 대규모 스트리밍 데이터를 S3나 레드시프트로 저장해주고, 모니터링, 확장, 데이터 관리 등을 돕는다. 기존 키네시스는 '키네시스 스트림'으로 명칭을 바꿔 서비스된다.

키네시스 스트림의 경우 데이터의 흐름을 인스턴스가 직접 관리해야 했다면, 키네시스 파이어호스는 데이터 저장소까지 서비스 자체적으로 지정, 관리한다.

키네시스 파이어호스는 데이터를 보내는 클라이언트 단계에서 압축(compression)하고, 서버 단계에서 암호화해 저장한다. 버퍼 용량이나 간격을 제어하는 것도 가능하다.

이렇게 저장된 데이터는 AWS 람다 함수로 활용할 수 있다. 아마존 엘라스틱맵리듀스(EMR)로 배치 분석도 가능하다.

앤디 재시 AWS 및 아마존 인프라 수석부사장은 “어떤 스트리밍 앱, 웹, 기기 등을 API 콜 하나로 AWS에 보관하게 해준다”며 “즉각적으로 데이터를 불러오고, 쿼리를 날리며, 전체적으로 어떤 일이 벌어지는 지 실시간으로 볼 수 있다”고 설명했다.

그는 “사용자는 프로비저닝, 스트리밍 배정 등을 전혀 고민하지 않아도 된다”며 “스트리밍 데이터를 AWS로 보내는 새로운 방법이며, 애플리케이션에 더욱 집중하게 하는 새로운 방법”이라고 강조했다.

서비스는 현재 사용가능하며, 이용료는 데이터 수집량에 비례한다.