[제10회 ACC]테라데이타 "고급 빅데이터 분석 필요"

빅데이터 탐색은 비즈니스를 지원하는 통찰력을 생성하기 위해 빅데이터와 고급분석기법을 활용한 반복적인 프로세스입니다.

과거 데이터 분석은 비즈니스 분석가나 담당자가 무엇을 질문할 지 결정하고 이를 통해 알고 싶어하는 질문에 대해 답을 줄 수 있는 데이터를 구조화하는 것이 고전적인 비즈니스 인텔리전스(BI)였다.

현재 논의되고 있는 빅데이터 탐색은 이와 달리 정형/비정형 데이터 등 가능한 모든 데이터를 모아 반복적으로 분석해 얻고자 하는 가치를 탐색해 나가는 과정을 말한다.

19일 서울 잠실 롯데호텔 크리스탈볼룸에서 개최된 '제10회 어드밴스드컴퓨팅컨퍼런스(ACC)'에서 구태훈 한국테라데이타 이사는 앞으로는 IT와 비즈니스가 이러한 식으로 협업해 나갈 것이라며 중요한 것은 반복적인 분석을 위해서는 단일화된 분석 플랫폼이 필요하다는 것이라고 말했다.

구 이사에 따르면 현재 빅데이터 탐색은 여러가지 도전과제에 직면해 있다. 먼저 데이터 종류가 너무 많다는 점이다.

빅데이터 분석을 위해서 기업 담당자는 매출, 웹로그, 상품후기, 인구통계, 소셜, 위치정보 등을 모두 취합해야 한다. 매출과 웹로그는 SQL, 맵리듀스를 통해 고객행동에 접근한다. 여기에 상품후기를 분석하기 위해서는 텍스트마이닝을 통해 개인화 영역에 적용한다. 이밖에도 통계, 그래프, 시공간 등에 대해서 분석하면 마케팅적인 의미를 유추해낼 수 있다.

두번째로는 다양한 분석기법을 다룰 수 있는 기반 기술 전문가들까지 아직 제대로 협업이 이뤄지지 않고 있다는 점이다. SQL 기반 관계형 분석 전문가, 통계분석프로그램 R 전문가 등이 협력에 어려움을 겪고 있다는 것이다.

구 이사는 SQL, 통계분석, 패스, 텍스트 마이닝 등 빅데이터 분석 방법에 대해서도 어떤 고객 혹은 상품이 어울리는 것인가를 찾기 위한 과정이 어렵다고 말했다.

어떤 고객에게 어떤 적합한 상품을 추천해 주는가 등 아마존이 적용하고 있는 개인화 추천 사례는 국내 유통, 금융권에서도 주요 관심 사례다. 이를 분석하려면 고객 경험, 수요, 재무상태, 상황 등을 파악해야 하고 상품에 대해서도 정확히 알아 매핑을 해야 한다. 이 사이에 적절한 시점에 적절한 제안을 해야 한다. 이를 수행하려면 기존 데이터 외에 새로운 데이터와 분석방법이 필요하게 된다.

세 번째로는 데이터 과학자 뿐 아니라 빅데이터 기법을 도입한 기업 내 모든 임직원들이 활용할 수 있도록 해야 한다는 점이다.

마지막으로 민첩한 분석을 통해 고성능 대화형 분석 기법을 통해 빅데이터를 추출, 전처리, 분석, 시각화를 단일 분석 플랫폼으로 구현할 수 있어야 한다. 구 이사는 민첩성을 바탕으로 탐색/반복이 가능해야 새로운 의미나 가치를 만들어낼 수 있다고 설명했다.