IBM "AI혁신 성공한 10% 기업, 비결은 데이터"

"90%에 달하는 기업이 인공지능(AI) 도입 중 개념 증명(POC) 단계에서 멈추고 있다. 남은 10% 기업 만이 이를 넘어설 수 있었던 비결은 바로 고품질 데이터다."

IBM AI 서밋 코리아 2024 컨퍼런스를 맞아 한국을 방문한 IBM의 미드하트 샤히드 부사장은 24일 인터뷰를 진행하며 AI 도입 과정에서 데이터의 중요성을 강조했다.

미드하트 샤히드 부사장은 14년 이상 IBM에서 활동하고 있으며, 월드와이드 데이터 패브릭과 클라우드 팩 포 데이터 등 데이터 제품군을 총괄하고 있다.

폭발적인 AI기술의 성장과 비용 투자 속에서도 수많은 기업들이 AI도입에 실패하는 요인으로 데이터를 지목했다. 데이터가 불완전하거나 신뢰할 수 없으면 AI가 제출하는 결과 역시 신뢰하기 어려워지며 이는 AI 도입의 성공을 방해하는 주요 요인이 될 수 있다는 지적이다.

미드하트 샤히드 부사장은 “고품질 데이터가 없는 AI 도입은 뿌리 없는 나무와 같다”며 “많은 기업이 데이터 품질 관리와 거버넌스 체계가 부족해 지속적으로 높은 품질을 유지하지 못하며 개념 증명 단계를 넘어서지 못하는 사례를 보이고 있다”고 설명했다.

그는 성공적인 AI 도입을 위해 필요한 고품질 데이터에 대해 출처와 기원이 투명하고 신뢰할 수 있어야 하며, 이를 통해 신뢰성과 사용 적합성을 보장할 수 있어야 한다고 정의했다.

데이터의 정확성과 최신성을 유지하기 위해 정기적으로 업데이트되고 수정 및 보완 등의 관리 작업이 요구된다.

또한 고품질 데이터는 각 기업이나 특정 비즈니스 목적에 적합하게 활용될 수 있도록 적합한 내용과 형태를 갖춰야 한다. 이를 위해 기업의 업무 환경이나 목표에 맞춰 특화된 도구가 적용될 필요가 있다.

미드하트 샤히드 부사장은 “기업에 최적화된 고품질 데이터는 관리 및 사용에 있어 엄격한 데이터 거버넌스 정책이 적용되야 한다”며 “이를 통해 데이터의 품질과 사용성을 높이고, 규제 요구 사항을 준수할 수 있다”고 설명했다.

다만 IT역량이나 전문 인력이 부족한 제조, 유통 등의 기업은 이러한 전문적인 데이터 관리에 진입장벽을 느낄 수밖에 없는 실정이다.

미드하트 샤히드 부사장은 이러한 기업들도 데이터를 효과적으로 관리할 수 있도록 다양한 데이터 관리 서비스를 지원하고 있다고 소개했다.

데이터 패브릭은 다양한 데이터 소스를 하나의 통합된 데이터 구조로 연결해, 데이터의 접근성과 활용성을 높인다. IT 역량이 낮은 기업도 복잡한 데이터 관리 문제를 해결하고, 필요한 데이터를 효과적으로 사용할 수 있도록 지원한다.

IBM 왓슨 날리지 카탈로그(BM Watson Knowledge Catalog)는 기업이 데이터를 수집하고, 저장하며, 메타데이터를 관리하는 과정을 단순화하여 데이터의 품질과 일관성을 유지하도록 돕는다. 이를 통해 데이터의 출처와 사용 이력을 명확하게 파악하고, 데이터의 투명성을 확보할 수 있다.

또한 기업들이 데이터 관리 솔루션을 단계적으로 도입할 수 있도록 모듈화된 접근 방식을 제공한다. 이는 기업이 필요에 따라 데이터 관리의 특정 부분만을 선택하여 도입할 수 있게 함으로써, 리소스를 효율적으로 사용할 수 있도록 돕는다. 이를 통해 IT 역량이 낮은 기업들도 부담 없이 데이터 관리의 각 요소를 점진적으로 도입할 수 있는 기반을 확보할 수 있다.

이 밖에도 데이터의 시간 경과에 따른 데이터 흐름을 추적하는 데이터 리니지와 지난 7월 인수한 스트림셋의 기술을 활용해 멀티 클라우드 환경에서 실시간 데이터 통합 및 관리할 수 있는 기능을 지원한다.

이와 함께 미드하트 샤히드 부사장은 기업들의 AI도입을 가로막는 문제점으로 아직 충분한 성공과 실패 모델이 제시되지 않았기 때문이라고 설명했다. 각 산업이나 사업 방향성에 맞춰 보고 따라할 사례가 마련돼 있지 않기 때문에 기업들의 대규모 투자가 이뤄지지 않고 있다는 것이다.

다만 많은 기업들이 이미 수년전부터 AI 관련 투자와 연구를 진행하고 있고 관련 성과를 발표하기 위해 준비하고 있는 만큼 AI 저변확대가 조만간 폭발적으로 일어날 것으로 전망했다.