기업 데이터 80%가 비정형...AI자산으로 전환 어떻게

지능형 데이터 플랫폼 전문기업 데이터스트림즈(대표 이영상)는 지난 26일 'AI 거버넌스와 데이터 리니지-비정형 데이터를 AI 자산으로 전환하라'를 주제로 웨비나를 개최, 비정형 데이터를 AI 자산으로 전환하는 구체적인 방법론과 솔루션을 제시했다고 밝혔다.

이번 웨비나는 올 1월 시행된 AI 기본법 이후 기업이 요구받고 있는 AI의 투명성, 안전성, 책임성 확보를 위한 대응 방안을 중심으로 진행했다. 특히 기업 내 방대한 비정형 데이터가 AI 활용의 핵심 자산이 될 수 있음에도 불구, 관리 체계 부재로 실제 활용에는 한계가 있다는 점이 주요 문제로 제기됐다.

데이터스트림즈는 발표를 통해 AI 도입 실패의 근본 원인이 기술이나 예산이 아닌 '데이터 거버넌스 부재'에 있다고 진단했다. 대부분의 기업이 문서, 이메일, 이미지 등 다양한 비정형 데이터를 보유하고 있지만 이를 체계적으로 관리하지 못하면서 AI 모델의 신뢰성과 품질 확보에 어려움을 겪고 있다는 설명이다.

특히 데이터스트림즈의 독자 아키텍처인 'M-DOSA(Meta Data Oriented Service Architecture)'가 주목을 받았다. 'M-DOSA'는 메타데이터 카탈로그를 모든 데이터 서비스의 중심에 두는 설계 철학이다. 비정형 문서에서 추출한 필드와 정형 데이터베이스의 컬럼을 카탈로그 매핑 테이블로 연결한다. 이를 통해 종이 신청서에서 출발한 데이터가 SQL 파이프라인을 거쳐 AI 모델에 이르기까지의 전 과정을 하나의 리니지 캔버스에서 끊김 없이 추적할 수 있다.

이날 웨비나에서는 데이터스트림즈의 'Q-Track' AI를 기반으로 비정형 데이터를 AI 자산으로 전환하는 구체적인 방법을 시연했다. 시연에서는 비정형 문서 업로드 → OCR 기반 자동 구조화 → AI의 개인정보 자동 탐지 → 데이터 스튜어드의 최종 승인(Human-in-the-Loop) → ODS에서 AI 모델까지 전 구간 리니지 자동 생성의 4단계 파이프라인을 소개했다.

또 개인정보 자동 탐지와 함께 주민등록번호 등 복원 불가 항목에 대한 단방향 해싱, 감사 목적 복원이 필요한 항목에 대한 양방향 암호화 등 비식별화 자동 적용 기능을 공개했다. 아울러 데이터 생성부터 활용까지의 흐름을 노드 그래프로 시각화, 전사 데이터 이동 경로를 추적할 수 있는 데이터 리니지 체계를 통해 AI 기본법 컴플라이언스 대응이 가능하다는 점도 강조했다. 특히 기존 수일에서 수주가 소요되던 감사 소명 작업을 'Q-Track AI'를 통해 1분 이내에 자동 생성할 수 있다는 점도 참석자들의 주목을 받았다.

발표를 맡은 데이터스트림즈 AI전략사업본부 AI개발팀 곽두일 수석은 17년간 공공·금융·의료·제조 등 다양한 산업 영역에서 40건 이상의 엔터프라이즈 AI PoC를 수행한 경험을 바탕으로, 비정형 데이터를 정형 데이터 수준으로 관리, AI 신뢰성과 활용도를 동시에 높이는 방법론을 시연했다. 그는 기업이 보유한 비정형 데이터를 정형 데이터 수준으로 관리할 수 있을 때 AI 신뢰성과 활용도가 함께 향상될 수 있다고 설명했다.