데이터 리더 95% "AI 의사결정 완전히 이해 못한다"…기업 내 신뢰성 '적신호'

데이터이쿠 "업무 깊숙이 AI 도입됐지만 설명 가능성·거버넌스 여전히 부족"

인공지능(AI) 도입 속도가 빨라지고 있지만 정작 기업 내부에서는 AI의 결정 과정을 완전히 이해하거나 신뢰하지 못하는 것으로 드러났다.

전 세계 데이터 리더 상당수가 "AI가 무엇을 어떻게 판단하는지 명확히 알 수 없다"고 답하면서 AI 의사결정의 불투명성이 비즈니스 리스크로 부상하고 있다.

27일 데이터이쿠가 발표한 '글로벌 AI 실태 보고서'에 따르면 전 세계 데이터 리더의 95%가 AI 의사결정 과정에 대한 완전한 가시성을 확보하지 못했다고 답했다.

(사진=데이터이쿠)

이번 조사는 데이터이쿠의 의뢰로 미국 시장조사기관 해리스 폴이 미국·영국·프랑스·독일·아랍에미리트(UAE)·일본·한국·싱가포르 등 8개국의 데이터 부문 고위 임원 800여 명을 대상으로 실시했다.

응답자의 86%는 AI가 이미 일상 업무의 일부가 됐다고 답했지만 거버넌스 격차와 설명 가능성 부족, 과도한 신뢰에 대한 우려는 여전히 높게 나타났다.

보고서에 따르면 19%의 데이터 리더만이 AI 에이전트의 결과를 승인하기 전에 작업 과정을 항상 공개하도록 요구하고 있으며 52%는 설명 가능성 부족으로 인해 에이전트 배포를 지연하거나 중단한 경험이 있다고 밝혔다.

또 응답자의 46%는 AI 성과에 대한 공로를 인정받을 가능성이 높다고 답했지만 56%는 실패 시 비즈니스 손실의 책임을 질 위험이 있다고 답했다. 나아가 60%는 향후 2년 내 AI가 가시적인 성과를 내지 못할 경우 자신의 일자리가 위태로울 수 있다고 우려했다.

AI의 신뢰성 문제도 여전하다. 응답자의 59%는 지난 1년간 AI의 환각이나 오류로 인해 실제 비즈니스 문제를 경험했다고 답했다. 82%는 "AI가 상사보다 비즈니스 분석을 더 잘할 수 있다"고 평가했지만 74%는 "AI 오류율이 6%만 넘어도 인간 중심의 업무 방식으로 되돌아갈 것"이라고 밝혔다.

아울러 89%는 AI에게 절대 맡기지 않을 업무 기능이 최소 한 가지 이상 있다고 답해 기술적 의존과 신뢰 간의 간극이 여전히 크다는 점을 드러냈다.

이번 보고서는 최고경영자(CEO)의 낙관론과 데이터 리더의 현실 인식 사이에 존재하는 괴리도 지적했다. 데이터이쿠가 올해 초 발표한 'CEO 에디션' 보고서에서는 많은 CEO들이 AI를 비즈니스 혁신의 핵심 동력으로 낙관했지만 데이터 리더들은 이번 조사에서 신중한 입장을 보였다.

단 39%만이 자사 경영진이 AI를 제대로 이해하고 있다고 답했고 68%는 경영진이 AI의 정확도를 과대평가하고 있다고 지적했다. 73%는 경영진이 신뢰성 확보의 어려움을 간과한다고 답했으며 56%는 AI 전략 실패로 인해 CEO가 해임될 가능성도 있다고 내다봤다.

데이터이쿠는 이러한 괴리가 많은 AI 프로젝트가 여전히 개념 검증(PoC) 단계에 머무는 이유라고 설명했다. 신뢰성과 설명 가능성을 확보하지 못한 채 AI를 전면 도입하려는 시도가 실제 운영 단계에서 문제를 초래한다는 설명이다.

플로리안 두에토 데이터이쿠 공동 창립자 겸 CEO는 "이번 보고서가 보여주는 사실은 전 세계 기업들이 완전히 신뢰하지 못하는 AI에 의존하고 있다는 점"이라며 "다행히도 실패한 AI 프로젝트의 대부분은 설명 가능성, 추적 가능성, 거버넌스를 강화함으로써 해결 가능하며 이것이 바로 AI가 단순한 유행에서 벗어나 실질적인 비즈니스 성과를 창출하게 하는 방법이 될 것"이라고 말했다.