다양한 데이터 원천, 모아서 하둡에 넣기까지

[11회ACC]한국인포매티카 이철민 부장

“소셜미디어, 센서데이터, 문서 등 데이터 원천은 다양하다. 이를 하둡과 데이터웨어하우스에 넣어 빠르게 활용하고 비즈니스인텔리전스(BI)에서 활용하기 위해 데이터를 최종목적지까지 잘 전달하는 역할이 필요하다.”

이철민 한국인포매티카 부장은 3일 서울 잠실 롯데호텔에서 열린 '제11회 어드밴스드컴퓨팅컨퍼런스(ACC)' 오후 세션 발표에서 이같이 말했다.

오랜 시간 데이터 추출, 적재, 변환(ETL) 및 품질관리 전문솔루션의 강자로 군림해온 인포매티카는 하둡 기반의 빅데이터 환경을 위한 솔루션을 제공하고 있다.

파워센터란 이름의 제품은 데이터 처리 아키텍처에서 수용하려는 데이터 원천을 잘 전달하도록 하면서 여러 데이터시스템 환경을 유기적으로 조합해 쓸 수 있도록 해준다.

이철민 부장은 “인포매티카는 비주얼환경 기반의 개발툴을 제공하는데, 한번의 매핑으로 어디든 디플로이할 수 있게 한다는 철학을 갖고 있다”며 “빅데이터를 활용하고자 하는 고객이 새 툴을 습득하고 비즈니스에 활용하기까지 소요되는 시간을 줄여주려 한다”고 강조했다.

그에 따르면 인포매티카의 솔루션을 데이터를 끌어올 때 어떻게 관리할 것인가, 거버넌스, 시큐리티, 품질관리 위한 빠른 정제 등의 기능을 어떤 원천에서도 수용 가능하게 하는 부분으로 구성된다.

그는 페이팔을 비롯해 전세계 인포매티카 고객사의 빅데이터 인프라 구축사례를 소개하고, 그 안에서 인포매티카의 역할을 전달했다.

하둡의 원본데이터를 정제한 뒤 DW 환경에서 활용하는 경우, 운영인텔리전스에서 하둡을 활용하는 경우, 마스터데이터관리(MDM)을 이용해 VIP 고객을 관리하는 경우 등 다양한 사례가 소개됐다.

그는 “페이팔의 경우 데이터원천도 많고, 트랜잭션도 다양한데, 인포매티카 솔루션으로 하둡에 넣어서 18개 정도의 시스템에 해당하는 볼륨의 데이터를 목적에 맞게 적재하고 추출해서 BI에 보내주는 환경을 운영하고 있다”며 “별도로 네티자나 오라클, SAS에 맞게 가공해 추후해 사용하는 환경도 갖고 있다”고 전했다.

그는 “파워센터는 코드 없이 시각화된 아이콘으로 하둡 쪽으로 데이터를 쉽게 적재할 수 있도록 하는 개발자 툴을 제공한다”며 “또 다양한 인터페이스를 지원하고, 많은 커넥터를 제공하기 때문에 개발에 필요한 부담과 비용, 시간을 줄여준다”고 강조했다.