'AI 투자' 26%만 성공…성패 가른 두 가지 요인

AI 투자 열풍 속 생산 단계 도입률 26%에 그친 이유

생성형 AI(GenAI)와 에이전틱 AI(Agentic AI)에 대한 투자가 급증하고 있지만, 실제 비즈니스 현장에서 생산 단계에 성공적으로 도입한 기업은 여전히 소수에 불과하다. IT, 통신, 컨슈머 테크놀로지 분야의 세계적인 시장 분석 및 컨설팅 기관인 국제 데이터 코퍼레이션(International Data Corporation, IDC)의 조사에 따르면, 기업들의 AI 투자 중 57%가 생성형 AI와 에이전틱 AI에 집중되고 있으나, 생성형 AI 솔루션을 실제 생산 단계에 도입한 기업은 전체의 26%에 그치고 있다. 인공지능이 2030년까지 전 세계 경제에 19.9조 달러를 기여하고 세계 GDP의 3.5%를 차지할 것으로 예상되는 상황에서, 기업들은 생존과 경쟁력 강화를 위해 AI 도입을 서두르고 있다. (☞ 보고서 바로가기)

AI 도입 과정에서 가장 큰 걸림돌로 작용하는 것은 데이터 관련 기술적 문제들이다. 조사 대상 기업의 39%는 AI 모델 학습 및 튜닝 관리를, 35%는 데이터 품질 관리를, 34%는 생성형 AI 결과물의 정확성과 관련성 관리를 주요 과제로 꼽았다. 이러한 어려움에 직면하여 기업들의 89%가 생성형 AI 등장 이후 데이터 전략을 변경했으며, 특히 69%는 데이터 전략을 업데이트했고 20%는 완전히 새로운 전략을 수립했다.

AI 성공의 열쇠, 78%의 기업이 데이터 집중도를 높인 이유

조사에 따르면 기업의 78%가 생성형 AI 등장 이후 데이터에 대한 집중도를 높였으며, 18%는 데이터를 최우선 과제로 삼고 있다. 또한 기업의 69%는 특정 데이터 및 분석 시스템에 맞춤화되고 통합된 AI 플랫폼을 도입하는 것이 더 의미 있는 비즈니스 성과를 이끌어낼 것이라고 응답했다.

이러한 변화에 맞춰 조직 구조도 변화하고 있다. 5개 기업 중 3개는 데이터 관리와 데이터 분석 책임을 한 사람에게 통합하여 맡기고 있으며, 이 중 39%는 CIO에게 이 책임을 부여하고 있다. 비즈니스 분석과 데이터 관리에서는 하이브리드 및 연합형 조직 구조가 중앙집중식 구조보다 더 많이 채택되고 있다.

5개 기업 중 3개가 데이터 관리와 분석 책임을 한 사람에게 통합

데이터 리더십이 직면한 가장 큰 과제는 협업 제약, AI가 제공할 수 있는 것에 대한 기대치 관리, 그리고 기술 개발이다. 생성형 AI가 사람에게 미치는 영향(37%), 데이터 인사이트(30%), 기술 및 변화(27%)가 데이터 및 분석 조직의 즉각적인 우려 사항으로 나타났다. IT 응답자들은 주로 기술 부채를 우려하는 반면, 비즈니스 부서 응답자들은 기술과 교육을 주요 관심사로 꼽았다.

데이터 관리 리더들의 최우선 목표는 AI 사용 사례 지원(41%), 데이터 및 분석 제품의 품질(40%), 의사결정에 데이터 통합(34%)이다. 그러나 응답자의 절반 이하만이 현재 데이터 아키텍처와 기술 스택에 대해 매우 확신하고 있으며, 비즈니스 응답자들의 신뢰도는 더욱 낮았다.

41%의 기업이 데이터 품질 관리에 투자 집중

투자 우선순위는 데이터 품질 관리(41%), 데이터 작업자를 위한 AI 기반 자동화(35%), AI 학습을 위한 데이터 준비(28%)에 집중되고 있다. 비즈니스 부서 응답자들은 데이터 제품, 거버넌스 및 개인정보 보호에 더 많은 관심을 보였다.

데이터 제품화 수준이 높은 조직은 그렇지 않은 조직에 비해 데이터를 6배 더 빠르게 찾고 준비하며, 혁신 지표가 9배 향상되고, 디지털 비즈니스가 될 가능성이 5배 높으며, 데이터 거버넌스가 개선되고, 생성형 AI 솔루션을 생산에 도입할 가능성이 7배 높은 것으로 나타났다. 현재 조직의 43%가 데이터 제품 식별 및 생성에 상당한 투자를 하고 있으며, 38%는 이미 많은 데이터 제품을 생성하고 배포했다.

74%가 데이터 인프라와 더 깊은 통합이 필요한 AI 시스템 추구

응답자의 74%는 기존 데이터 인프라 및 워크플로우와 더 깊은 통합이 필요한 AI 시스템을 추구하고 있으며, 70%는 특정 데이터 및 분석 시스템에 더 맞춤화되고 통합된 AI 플랫폼을 원하고 있다. 또한 73%는 분석 솔루션에 생성형 AI 기능을 사용하거나 통합하고 있지만, 이 중 29%만이 이미 이러한 기능을 사용 중이라고 응답했다.

기업들은 생성형 AI가 데이터 품질, 마스터링, 보호를 개선하고, 시각화를 생성하며, 더 깊은 분석 인사이트를 제공할 것으로 기대하고 있다. 데이터 관리 분야에서는 데이터 품질 관리, 마스터 데이터 관리, 데이터 개인정보 관리가 주요 관심사이며, 분석 분야에서는 데이터 인사이트 및 트렌드 생성(65%), 데이터 시각화 생성(59%), 예측 분석 및 시나리오 분석(56%)이 중요한 영역으로 꼽혔다.

에이전틱 AI 성공 요인 1위는 데이터 정확성(51%)

조직의 80%가 에이전틱 AI에 투자하고 있으며, 16%는 이미 여러 에이전틱 AI 강화 애플리케이션/서비스를 생산에 도입했고, 49%는 확립된 지출 계획으로 에이전틱 AI에 상당한 투자를 하고 있다. 그러나 조직의 12%만이 자율적 의사결정을 지원하기 위한 현재 인프라가 충분하다고 매우 확신하고 있다.

에이전틱 AI의 핵심 성공 요인으로는 데이터 정확성 및 거버넌스(51%), 더 나은 AI 모델 및 알고리즘(50%), 보안 및 윤리적 고려사항(50%), AI 시스템에 대한 인력 전문성(41%), 실시간 데이터 액세스(34%), 인프라 확장성(29%)이 꼽혔다. 실시간 데이터 액세스는 에이전틱 워크플로우에 중요하지만, 정확성, 거버넌스, 모델, 보안 문제가 먼저 해결되어야 한다.

데이터 중심 혁신 문화가 선도 기업의 공통점

AI 경쟁에서 우위를 점하기 위해서는 데이터와 분석에 대한 집중이 필수적이며, 이를 위해서는 규율, 책임성, 데이터 중심 혁신 문화가 필요하다. 데이터 제품은 AI 성공에 핵심 요소로, 각 제품의 비즈니스 가치, 책임성, 제품 소비자(사람과 기계)에 대한 전달에 집중하여 성공할 수 있다.

책임 있는 AI 구현을 위해서는 명확한 윤리적 지침 설정, AI 의사결정의 투명성 보장, 공정성과 포용성 우선시에 대한 책임과 책임성을 확립해야 한다. 또한 데이터와 분석의 원활한 통합, 품질, 접근성을 촉진하는 프로세스를 조율하고, 데이터 거버넌스를 정렬하며, 데이터 무결성을 보장하고, 데이터 엔지니어와 분석가 간의 협업을 촉진하여 더 정확한 예측, 최적화된 운영, 전략적 혁신을 이끌어내야 한다.

FAQ

Q: 기업이 AI 도입 과정에서 가장 많이 직면하는 데이터 관련 문제는 무엇인가요?A: 기업들이 가장 많이 직면하는 데이터 관련 문제는 AI 모델 학습 및 튜닝 관리(39%), 데이터 품질 관리(35%), 생성형 AI 결과물의 정확성과 관련성 관리(34%)입니다. 이러한 이유로 기업의 89%가 생성형 AI 등장 이후 데이터 전략을 변경했습니다.

Q: 데이터 제품화가 기업에 어떤 혜택을 가져오나요?A: 데이터 제품화 수준이 높은 조직은 데이터를 6배 더 빠르게 찾고 준비할 수 있으며, 혁신 지표가 9배 향상되고, 디지털 비즈니스가 될 가능성이 5배 높으며, 데이터 거버넌스가 개선되고, 생성형 AI 솔루션을 생산에 도입할 가능성이 7배 높아집니다. 또한 의사결정에서 데이터 활용이 향상됩니다.