"실시간 흐르는 데이터, 오늘날 기업의 생명줄"

[ACC+ 2022] 김현수 컨플루언트 상무

“일반적으로 기업은 다양한 사업부 산하에 걸친 프로젝트마다 데이터 파이프라인을 설계한다. 하지만 이러한 접근방식은 느리고 비싸고 불안정하다. 서로 다른 데이터 사본이 서로 다른 시간과 서로 다른 장소에 존재하기 때문이다. 실시간 데이터가 아닌 오래된 데이터가 비즈니스 운용에 사용될 수 있는데, 이는 브랜드 이미지 손상으로 이어질 수 있다.”

김현수 컨플루언트 상무는 7일 지디넷코리아가 온라인으로 진행한 ‘어드밴스드컴퓨팅컨퍼런스+2022(ACC+2022)’에서 ‘실시간 움직이는 데이터를 위한 하이브리드 아키텍처를 구현하는 방법’에 대해 설명하며 이같이 말했다. 

컨플루언트는 아파치 카프카라는 데이터 스트림 처리 분석 오픈소스 기반 플랫폼을 제공하는 기업이다. 2020년 기준 포춘 100기업 중 80% 이상이 카프카를 사용 중이며, 이들 대부분이 컨플루언트의 고객사다.

컨플루언트 김현수 상무

김현수 상무는 클라우드를 도입한 기업이 비즈니스 성과를 높이고, 비용 증가와 같은 문제에 부딪히지 않기 위해 실시간 데이터 활용을 돕는 플랫폼의 역할이 중요하다고 강조했다.

김 상무는 “예를 들어 온·오프라인 매장을 동시에 운영하는 전자상거래 기업의 고객이 온라인에서 재고가 있다는 것을 확인했음에도 오프라인 매장에 도착한 후에야 해당 상품이 품절됐다는 것을 알게 될 수 있다”며 “각 사업부 데이터 중 일부는 온프레미스, 일부는 클라우드에 저장했는데 서로 동기화되지 않는 경우가 많이 발생한다”고 설명했다.

이어 “실시간으로 데이터가 연동되지 않으면 구매 의사가 있는 고객도 잃고 브랜드 이미지도 손상할 수 있다”며 “오래된 데이터를 비즈니스에 사용하지 않기 위해서는 데이터가 실행되는 클라우드 리전 또는 온프레미스, 데이터센터에 상관없이 모든 시스템과 애플리케이션 사이를 실시간으로 안전하게 이동할 수 있는 최신 데이터 아키텍처가 필요하다”고 말했다.

기업이 새로운 클라우드 서비스를 추가하면 추가할수록 아키텍처 문제는 복합적이고 연속적으로 생겨난다. 아키텍처가 불안해지면 보안의 문제도 생겨난다. 데이터가 자유롭고 안전하게 흐르기 위해서는 아키텍처의 단순화가 필요하다.

김 상무는 “더 많은 시스템 간 포인트 투 포인트가 설정되면, 다양한 전 세계 지역의 데이터 주권법 문제 해결을 비롯한 아키텍처 문제가 걷잡을 수 없이 악화된다”며 “새로운 클라우드 서비스 제공을 위해 새로운 데이터 파이프라인을 생성할수록 네트워킹 보안시스템과 파이프라인을 또 만들어야 하기 때문에 혁신이 느려지고 비용이 늘어나며 보안 문제는 더 어려워진다”고 말했다.

이어 “기업이 맨 처음에 실행하려던 클라우드 이점을 얻고 실시간 데이터를 활용해 글로벌 실시간 비즈니스를 지원하기 위해서는 데이터 아키텍처를 현대화하고, 말 그대로 실시간으로 움직이는 데이터를 활용할 수 있도록 지원하는 플랫폼이 필요하다”고 강조했다.

컨플루언트는 데이터를 연속적 이벤트 스트림으로 재구상함으로써 기업들이 실시간으로 움직이는 데이터를 사용하는 것을 돕는다. 아키텍처의 단순화도 지원한다. 비즈니스의 잠재적인 장애가 될 수 있는 수많은 시스템 간 포인트 투 포인트 연결을 없애기 위함이다.

김 상무는 “포인트 투 포인트 연결을 없애는 것만으로도 비즈니스 성과를 향상할 수 있다”며 “모든 환경을 단일 실시간 데이터 플레인으로 통합하면 혁신적인 애플리케이션을 더 빠르게 구축할 수 있다”고 설명했다.

그는 더 나은 시스템 구축은 사치가 아니라 기업의 사활이 달린 문제라고 강조했다. 또한 데이터를 소프트웨어 정의 기업의 ‘생명줄’로 표현하기도 했다.

김 상무는 “오늘날 실시간으로 움직이는 데이터를 기반으로 수집 처리 분석 및 조치할 수 있는 지능형 소프트웨어에 따라 비즈니스 성과가 결정되는 경우가 많아지고 있다”며 “실시간으로 움직이는 데이터와 현대적 아키텍처가 없다면 기업은 소프트웨어 개발을 근본으로 삼는 새로운 회사들과 경쟁할 수조차 없다”고 말했다.