[기고] 올해 데이터 관리 핵심은 AI·분산화·거버넌스·비용 최적화

다가오는 2025년에도 기업은 지속적인 경제 불황과 시장의 불확실성으로 녹록치 않은 경영 환경에 대응해야 할 것으로 예상된다. 기업의 합리적인 의사결정과 비즈니스 경쟁력을 제고할 해결법으로 '데이터의 효율적인 활용'이 더욱 중요해질 것으로 생각되는 가운데, 데이터 관리 아키텍처는 데이터 양 증가, 데이터 소스의 다양성, 데이터 소비 사용자의 다양성 증가에 따른 요구를 충족하기 위해 계속 발전할 것이다. 개인정보 보호와 거버넌스 요건이 더욱 엄격해지고 생성형 AI 애플리케이션의 맥락에 맞게 기업 데이터에 대한 안전한 액세스를 제공하는 것이 더욱 강조될 것이다.

오늘날 기업은 데이터 레이크 방식에서 벗어나 데이터를 하나의 프로덕트로 인식하고 도메인 별로 관리하는 분산형 데이터 아키텍처로의 전환을 가속화하고 있다. 데이터 소유권이 각 팀으로 이양되는 탈중앙화된 연합거버넌스는 개별 팀에게 데이터 운용의 주도권을 제공하는 동시에 데이터 품질과 규정 준수를 책임져야 하는 자율성을 부여한다. 분산화된 환경 속에서 클라우드, 온프레미스, 하이브리드 환경 등 다양한 데이터 소스에 대한 상호운용성 요구가 커지는 가운데, 이를 원활하게 관리하고 활용할 수 있도록 데이터 시스템의 의미론적 통합과 쿼리 컴퓨팅을 지원하는 도구 중요성은 자연스레 올라갈 것이다.

데이터 거버넌스 측면에서의 변화도 마찬가지다. 분산형 데이터 아키텍처는 특정 데이터 거버넌스 정책이 중앙이 아닌 도메인 수준에서 관리되는 도메인 지향 거버넌스로 이어질 것이다. 이를 통해 데이터를 제일 잘 아는 팀이 데이터의 품질과 규정 준수에 대한 책임을 지게 될 것이다.

이에 따라 조직이 데이터 상태, 계보, 사용 현황을 모니터링할 수 있게 해주는 데이터 통합 가시성이 표준 기능이 될 것으로 보인다. 통합 가시성 도구는 데이터 파이프라인, 데이터 최신성, 계보(Lineage)에 대한 인사이트를 제공해 분석·의사 결정을 위한 데이터 신뢰성을 확보할 수 있게 한다. AI 기반 의사결정이라는 측면에서, 다양한 데이터 규제에 부합하고 데이터 투명성을 확보할 수 있도록 데이터 설명 가능성을 보장하는 방법을 갖추게 된다.

데이터 개인정보 보호 규정 준수와 데이터 주권 확보에 대한 요구가 높아지면서 기업이 민감한 데이터는 온프레미스나 프라이빗 클라우드에 둔다. 또 상대적으로 덜 민감한 데이터를 퍼블릭 클라우드에 저장하는 하이브리드 아키텍처를 채택하는 경향도 두드러진다. 이를 통해 기업은 데이터 관련 규제는 준수하면서 퍼블릭 클라우드의 확장성을 충분히 활용할 수 있다. 다만 복수의 클라우드 활용은 이 또한 포괄할 수 있는 데이터 통합 관리 도구의 필요성으로 이어져 다양한 클라우드 플랫폼의 데이터 소스에 대해 가상화된 단일 뷰를 통해 데이터를 관리하고 거버넌스 프레임워크를 제공할 수 있는 솔루션이 시장의 주목을 받을 것으로 예상된다.

데이터 관리 측면에서 앞으로 비중있는 역할을 하게 될 기술이 바로 AI다. AI는 데이터의 구성을 분석하고 태깅을 자동화해 데이터 탐색 및 분류에 소요되는 시간을 단축할 뿐만 아니라 데이터 카탈로그 내 개별 데이터 품질 및 사용 패턴에 대한 실시간 인사이트를 제공한다. 또 데이터 관리 플랫폼은 AI를 활용해 데이터 쿼리 실행을 최적화할 것이다. 사용 패턴을 예측하고 쿼리를 적절한 데이터 실행 엔진에 매핑하는 동시에 비용 최소화와 성능 개선을 위해 데이터 워크로드를 자동 조정하는 등의 작업을 예로 들 수 있다.

거대언어모델(LLM)을 각 기업 요구에 맞게 추가로 학습시키는 미세 조정 작업을 하더라도, 상대적으로 작은 데이터 세트에 한정해 추가 학습을 진행하는 미세 조정의 구조상 생성형 AI 모델은 원래 학습된 시점의 데이터를 기준으로 삼는다. 이로 인해 생성형 AI는 종종 기업 데이터나 문맥을 파악하지 못하고 실시간 정보를 반영하지 못한 결과값을 내놓곤 한다. 이에 대한 해결책으로 기업의 데이터 관리 플랫폼은 LLM에 대해 기존에 학습한 데이터에 내부 데이터 소스를 결합하는 검색증강생성(RAG) 기능을 제공함으로써 생성형 AI 모델 강화에 실시간 데이터를 활용하는 동시에 기업의 데이터와 연결해 맥락에 맞게 AI 모델을 조정할 수 있도록 발전할 것이다.

데이터가 IT부서에 집중되던 과거와 달리 모두가 데이터를 자유롭게 활용할 수 있는 시대가 도래하며 기업은 개별 데이터 사용자의 요구와 선호를 정밀하게 분석해 맞춤형 데이터 소비 경험을 제공해야 하는 과제에 직면하고 있다. 초개인화 서비스를 완성하는데 있어 기업의 데이터 관리 역량은 중추적인 역할을 수행한다. 특히 데이터 관리의 보안 측면에서 기업은 데이터 개인정보 보호에 대한 우려에 대응해 민감한 정보를 침해하지 않고 데이터 분석과 공유를 가능케 하는 개인정보 보호 유지 기술을 도입할 것이다. 또 기업은 모든 지역 및 데이터 환경에서 데이터 관리 관행이 규제 요구조건에 부합할 수 있도록 자동화된 규정 준수 모니터링 도구를 이용할 것으로 전망된다.

앞으로 데이터 관리는 비용 효율적인 스토리지 및 데이터 컴퓨팅 솔루션을 지원하는 방향으로 발전할 것이다. 예를 들어 데이터 사용 빈도에 따라 데이터를 분류하고 각각의 스토리지 계층에 저장해 스토리지 비용을 최적화하는 데이터 계층화와 기업의 비즈니스 우선순위와 재무 목표에 따라 데이터 워크로드를 컴퓨팅 엔진에 동적으로 할당하는 핀옵스 같은 기능이 더욱 중요해진다는 것이다.