[크리스의 SW아키텍트⑨] AI네이티브, '데이터 메시'가 먼저다

지난 8편에 걸쳐 AI시대의 기술 변화가 결국 아키텍처의 구조적 혁신을 요구하고 있음을 제시했다. 과거의 시스템은 한마디로 기록을 위한 시스템 즉 SoR(system of Record)였다. 최근의 시스템은 거대언어모델(LLM)의 발전을 통해 새로운 인사이트를 찾는 SoI(system of Insight)라고 부른다.

결국 AI를 도입했음에도, 기존 비즈니스의 근간을 바꾸는 것이 아닌, 그저 기존 비즈니스에 도움을 주는 일종의 '괜찮은(Nice-to-have) 시스템' 역할만 하고 있다는 것으로 해석할 수 있다. 하지만 이제 우리는 모든 논의의 종착점이자 새로운 시작점인 ‘AI 네이티브 기업(AI Native Enterprise)’ 이라는 단계로 발전해야 한다. 이 단계 시스템을 실행을 위한 시스템, 결과를 만들어 내는 시스템, 즉 실행하는 시스템(SoA: system of Action)라고 부른다.

단순히 AI를 부가 기능으로 사용하는 것을 넘어, 기업의 핵심 구조, 의사결정 체계, 운영 프로세스 전반에 AI가 처음부터 내재된 상태를 의미한다. 이제부터는 실행을 위한 AI를 구축하기 위해 필요한 몇 가지 중요한 요소를 살펴보려고 한다. 먼저 데이터를 이야기 해 보겠다.

AI 네이티브 시스템, 즉 SoA 에서 데이터는 더 이상 과거를 기록하는 창고가 아니라, 미래를 예측하고 비즈니스를 실시간으로 움직이는 살아있는 혈액과 같다. 어떻게 이 혈액이 기업 전체에 막힘없이 흐르게 할 수 있을까?

지난 수십 년간 기업들은 모든 데이터를 중앙 데이터웨어하우스나 데이터 레이크로 모으는 데 집중했다. 이는 데이터 ‘통합’이라는 목표는 달성했지만, 중앙팀에 모든 데이터 처리 병목이 집중되고, 현업 부서의 실제 맥락과 데이터의 의미가 분리되는 거대한 ‘데이터 사일로’라는 또 다른 기술 부채를 낳았다. AI가 아무리 뛰어나도, 정제되지 않고 맥락이 거세된 데이터를 먹고는 제대로 된 통찰력을 내놓을 수 없다. 바로 이 지점에서 AI 네이티브 시대를 위한 새로운 해법, ‘데이터 메시(Data Mesh)’ 아키텍처가 등장한다.

'데이터 메시'는 중앙 집중식 데이터 관리의 한계를 극복하기 위한 근본적인 패러다임 전환이다. 이는 데이터를 생성하고 가장 잘 이해하는 각 비즈니스 도메인(예: 마케팅, 재고, 물류팀)이 직접 데이터의 주인이 되어, 자신의 데이터를 하나의 완결된 ‘데이터 상품(Data as a Product)’으로 만들어 제공하는 분산형 구조다.

이는 마치 거대한 중앙 도서관 하나에 모든 책을 모으는 대신, 각 분야의 전문 연구실이 자신들의 연구 자료를 직접 최고의 품질로 관리하며, 누구나 쉽게 찾아 쓸 수 있도록 공개하는 것과 같다. 각 ‘데이터 상품’은 단순한 데이터 덩어리가 아니라, 데이터의 의미, 품질 수준, 접근 정책까지 명확하게 정의된 채 제공된다. 이러한 데이터 메시 구조는 7편에서 설명한 AI 에이전트의 ‘지속적인 컨텍스트 계층(Contextual Persistency Layer)’을 구현하는 완벽한 기반이 된다.

AI 에이전트가 고객의 숨은 의도를 파악하기 위해 ‘과거 구매 이력’, ‘최근 앱 활동’, ‘고객 서비스 문의 내역’ 데이터가 필요할 때, 데이터 메시 환경에서는 각 도메인이 제공하는 신뢰할 수 있는 데이터 상품을 즉시 조합해 풍부한 컨텍스트를 실시간으로 구성할 수 있다. 데이터가 중앙 파이프라인을 거치며 지연되거나 왜곡될 위험이 없이, 가장 신선하고 정확한 상태로 AI에게 공급되는 것이다.

그렇다면 기술 부채로 가득한 기존 시스템을 어떻게 '데이터 메시' 구조로 전환할 수 있을까? 이는 전사적인 혁명이지만, 시작은 작고 구체적이어야 한다.

첫째, 가장 시급하고 파급력이 큰 도메인을 선택해 첫 번째 ‘데이터 상품’을 정의해야 한다. 예를 들어, 이커머스 기업이라면 ‘실시간 주문 데이터’를 첫 상품으로 선정할 수 있다. 주문팀이 직접 데이터의 주인이 되어, 이 데이터가 항상 정확하고, 어떤 시스템이든 10분 내에 접근 가능하며, 개인정보는 마스킹 처리된다는 명확한 서비스 수준 협약(SLA)을 걸고 상품으로 출시하는 것이다.

둘째, 데이터 상품을 쉽게 만들고 유통할 수 있는 ‘셀프서비스 데이터 플랫폼(Self-Serve Data Platform)’을 구축해야 한다. 이는 각 도메인팀이 데이터 엔지니어에게 의존하지 않고도 스스로 데이터 상품을 등록, 관리, 공유할 수 있도록 돕는 중앙 인프라다. 복잡한 기술은 플랫폼 뒤에 숨기고, 각 팀은 오직 자신의 데이터 가치를 높이는 데만 집중하게 만들어야 한다.

셋째, 모든 데이터 상품이 따라야 할 최소한의 ‘전사 거버넌스(Federated Governance)’를 수립해야 한다. 이는 데이터 상품의 주소(Addressability), 상호운용성(Interoperability), 보안 표준 등, 마치 모든 소포가 따라야 하는 우편 시스템의 공통 규격과 같다. 중앙팀은 엄격한 통제자가 아닌, 생태계의 규칙을 만드는 조력자 역할을 해야 한다.

'데이터 메시'로의 전환은 단순한 기술 도입이 아니다. 데이터의 소유권을 현업으로 이전하고, 중앙 IT 조직의 역할을 바꾸며, 데이터 기반의 의사결정을 문화로 만드는 조직적, 문화적 혁신이다. 기술 부채라는 늪을 건너 AI 네이티브 기업이라는 새로운 대륙에 도달하기 위한 가장 현실적이고 강력한 나침반, 그것이 바로 데이터 메시 아키텍처의 본질이다.

다음 편에서는 AI가 고객의 의도를 파악하고 실행하게 만드는 핵심 기술, 즉 '컨텍스트 아키텍처'를 어떻게 현실의 레거시 시스템 위에 구축할 수 있는지 그 구체적인 전략을 이야기하려 한다.

◆ 나희동 크리스컴퍼니 대표는...

-정보관리기술사 (54회), SW아키텍트(CPSA), 수석감리원

-전남대학교 산업공학과, 서울과학기술대학교 컴퓨터공학 석사

-CMU SEEK 1기 MSE, UTD SW MBA 수료

-전/투이컨설팅 SW아키텍처 담당 이사, 마르미III 개발참여