커지는 분석 수요, 데이터 사일로 해법은

“수많은 기업이 고객과 상호작용의 핵심인 디지털 경험 강화를 위해 데이터 확보에 집중하고 있다. 그러나 경영진을 대상으로 한 최근 설문조사에서 82%의 응답자가 데이터 인프라의 복잡성, 사일로, 지연시간 등으로 유의미한 데이터를 확보해도 제대로 활용하지 못하고 있다는 인식을 가진 것으로 나타났다. 고객의 디지털 여정 데이터를 단순히 확보하는 것에서 나아가 데이터를 효율적으로 관리, 활용할 수 있는 데이터 플랫폼이 필요한 시점이다.”

김희배 한국테라데이타 지사장은 최근 본지와 인터뷰에서 오늘날 기업 데이터 분석 환경에서 나타난 장애물에 대해 이같이 밝혔다.

디지털 전환 유행기 속 기업의 데이터 확보 의지는 어느때보다 강하다. 기업 브랜드와 비즈니스 전반을 오가는 고객의 여정 중에 한발 앞선 전략적 마케팅을 구사하려면 데이터를 잘 확보해야 하기 때문이다. 고객 데이터 인프라에 활발한 투자가 이뤄지고 있으며, 데이터 분석 인프라는 기업 내 IT환경에서 핵심으로 자리잡았다.

테라데이타와 셀레브러스 공동으로 조사한 ‘비즈니스 성장을 위한 고객 데이터 확보’ 보고서에 의하면, 8%% 경영진이 고객과 상호작용에 있어 디지털 경험이 핵심이라고 답했다. 그러나 82%의 기업이 다양한 고객 데이터를 확보하기 위해 주력하고 있으나 복잡성, 사일로, 지연 시간으로 인해 유의미한 데이터를 확보해도 이를 제대로 활용하지 못하고 있다고 했다.

과거 데이터 인프라는 고객관계관리(CRM)나 경영 보고 등의 용도로 쓰였지만, 이제 그 활용폭은 매우 광범위하다. 기존 데이터웨어하우스(DW)와 함께 기업 외부 비정형 데이터를 모으는 빅데이터 인프라도 생겼고, 실시간 스트리밍 데이터 분석을 위한 인프라도 생겼다. 인공지능(AI) 활용 인프라도 새로 등장했다. 인프라를 사내에 구축하기도 하고, 일부는 클라우드에 구축하기도 해 분산되기도 했다. 분석 대상 데이터의 용량뿐 아니라 유형이 다양해졌는데, 많은 기업은 신규 수요 발생 시 그때마다 새로운 인프라를 별도 구축했고, 이는 복잡성과 사일로 현상을 심화시키고 있다.

김희배 지사장은 “데이터 분석을 가장 많이 하는 영역이 고객 부분이고, 과거 분석의 60%를수용하던 DW, CRM 영역에, CDP, CX, 빅데이터 플랫폼까지 들어가고 있다”며 “정형 데이터에 빅데이터를 더하면서 고객의 충실도, 선호도, 느낌까지 파악하게 됐고, 지금은 스트리밍 데이터로 고객의 현재 위치에 따라 생각, 피드백을 보는 식으로 분석 영역이 더 확장됐다”고 말했다.

김 지사장은 “데이터가 바뀌고, 데이터 분석 대상이 커지는 상황에서 고객경험(CX)을 설계하려면 포괄적으로 전 데이터를 활용하기 위해 가져오는 게 중요하다”며 “DW는 데이터센터 내 대형 시스템에 있고. 데이터마트는 작은 어플라이언스나 분석 DB에 있으며, 빅데이터는 하둡에 있으며, 스트리밍은 대부분 클라우드에 있는 등 흩어져 있다”고 지적했다.

그는 “데이터의 다양한 소스와 출처를 결합할 수 있는 존재가 필요하다”고 강조했다..

분석 대상은 전보다 더 포괄적이며 수요처도 다양해졌는데, 데이터 사일로 현상은 심해지는 상황은 아이러니하다. 통합 플랫폼으로 데이터의 변화에 따라 확장, 진화해야 하는데 제각기 흩어져버린 것이다. 이런 아이러니를 해결하려 나온 해법이 최근 많이 거론되는 ‘데이터 패브릭’이다. 이미 기존 인프라가 거대하고, 굳건한 상황에서 전면적인 단일 플랫폼으로 전환하는 건 사실상 불가능하기에 분산된 데이터를 연계하는 작업을 조욜하는 특별 계층을 만들자는 것이다. 데이터 패브릭과 반대되는 개념으로 ‘데이터레이크하우스’가 있다. 데이터레이크하우스는 CDP와 CX 분야에서 점차 성장하는 인프라지만, 아직 확실한 성과 검증이 이뤄지지 못했다.

김 지사장은 “여러 인프라에 걸친 데이터를 다 가져와 분석해야 하는데, 데이터 패브릭이 지원돼야 한다는 것”이라며 “DW, 빅데이터, 클라우드 등에 분산된 데이터를 호환시키자는 게 아니라, 데이터를 원래 자리에 그냥 두고 테라데이타의 데이터 패브릭을 중심으로 나머지 시스템을 관장하게 해서 유기적으로 결합하자는 방안”이라고 설명했다.

연계 분석을 위한 데이터 패브릭은 올해부터 본격화되고 있는 ‘마이데이터’ 사업과 맞물려 주목된다. 금융권 마이데이터의 경우 민감한 고객정보를 데이터센터에 두고, 비식별조치된 데이터를 클라우드에 둬서 AI나 머신러닝 요소를 클라우드 서비스로 이용하는 형태로 많이 구축된다. 마이데이터 사업을 제대로 진행하려면 각 금융사 데이터 인프라 곳곳에 저장된 고객 행위 이력 데이터를 마이데이터 인프라에 불러와 혼합 분석해야 한다. 이는 결국 인프라 조율자의 필요성을 부각시킨다.

기업 데이터 인프라 융복합 쿼리란 방향으로 성장하고 있지만, 데이터 사일로 현상이 심화되고 있다.

테라데이타는 데이터 패브릭에 강점을 가졌다는 점을 강조한다. 복합적인 데이터 워크로드를 관리할 수 있는 ‘다이내믹 워크로드 관리 기능’이 근거다. 가장 오랜 시간에 걸쳐 엔터프라이즈급 DW 환경을 지원해온 경험적 토대에, 신기술을 유연하게 수용할 수 있다는 것이다.

김 지사장은 “과거 DW는 쿼리 요청을 가진 자원에서 최대한 성능으로 처리하는 사상을 갖고 있었다”며 “테라데이타는 이런 기본적 성능 하에서 시스템을 안정적으로 유지하면서, 클라우드. 시대의 새로운 분석 수요도 수용하고 있다”고 말했다.

그는 “현재 클라우드 기반 데이터 플랫폼은 순수 클라우드 태생과 테라데이타처럼 기존 것을 클라우드로 진화시킨 형태, 기존 것을 클라우드로 그대로 옮긴 형태 등 세가지 유형이 있다”며 “이중 클라우드 네이티브 데이터베이스는 무제한 자원이란 특징을 가져서 복잡한 쿼리를 수많은 유닛에 풀어서 처리하므로 고객 예상보다 많은 자원 비용을 들이게 된다”고 설명했다.

그는 “MPP에서 출발해 클라우드화된 데이터 플랫폼의 경우 탄생한지 얼마 되지 않은 기술은 레거시 시스템의 특징을 탄탄하게 갖추지 못해 자원 활용에서 기술 성숙도가 부족하다”며 “오히려 오래된 기술이 더 유니크할 수 있다는 걸 테라데이타 플랫폼이 보여준다”고 강조했다.

CDP의 경우 데이터 사일로는 복잡한 이해관계와 맞부딪치면서 여러 문제점을 낳는다. 각 인프라 소유 주체가 다르므로, 각자의 업무 방향와 니즈가 달라져 이해충돌이 발생하기 때문이다.

디지털 혁신을 주도하는 최고디지털책임자(CDO)는 클라우드 지원을 고민하고, 재무책임자(CFO)는 솔루션 공급사의 오딧을 고민한다. 마케팅책임자(CMO)는 영업에 도움되는 활용을 고민하며, 리스크책임자는 보안 문제를 고민한다. 운영자는 안정성만 바라본다.

김 지사장은 “이처럼 기업 내 의사결정권자조차 상충되는 요구사항을 갖고 있어, 예전처럼 따로 풀게 되면 사일로는 심화되고, 궁극적으로 유기적인 CX를 만들지 못한다”며 “의사결정자 외에 실제 인프라 사용자 관점을 보더라도, 데이터과학자와 분석가, IT분석가, 개발자, DB 엔지니어 등의 요구사항도 다 다르다”고 말했다.

데이터 과학자는 R, 파이썬 같은 언어를 쓸 수 있는 환경을 원하고, 분석가는 분석업무의 빠른 처리를 원하며, IT분석가는 복잡한 비정형 쿼리를 동시에 날려 빠르게 결과를 얻고 싶어한다. 개발자는 내외부인으로 구분돼 자신의 익숙한 언어를 계속 사용하고 싶어하고, DB엔지니어는 DB 안정성을 고민한다.

김 지사장은 “각 사용자의 니즈가 의사결정권자의 니즈와 맞물리면서, 데이터 플랫폼은 모든 클라우드 아키텍처를 지원히야 하고. 기존 생태계와 호환돼야 한다”며 “데이터 패브릭처럼 기존 생태계와 연관되면서 자연스럽게 새로운 걸 수용하는 검증완료된 기술로 가야 이런 괴리를 해소할 수 있다”한다.