AI 신뢰도 하락세…세일즈포스 "윤리적 활용이 기업 경쟁력"

기업의 윤리적 인공지능(AI) 활용에 대한 신뢰도가 하락세를 보이고 있다는 분석이 나왔다.

15일 세일즈포스의 'AI 시대 고객경험 현황 보고서'에 따르면 AI 기술 발전으로 인해 기업 신뢰도가 더욱 중요해진 반면, 기업의 윤리적 AI 활용도는 이같은 추세를 보인다는 결과가 나왔다.

이번 보고서는 전 세계 18개국, 1만6천500명 이상의 소비자와 비즈니스 구매자를 대상으로 진행한 연구조사를 기반으로 작성됐다. 이번 조사에서 전체 응답자의 71%는 1년 전과 비교해 기업에 대한 신뢰도가 하락했다고 응답했다. 응답자의 61%는 AI 기술의 발전으로 인해 기업 신뢰도가 더욱 중요해졌다고 답했다. 다만 기업의 윤리적 AI 활용에 대한 신뢰도는 2023년 58%에서 2024년 42%로 하락했다.

기업의 윤리적 인공지능(AI) 활용에 대한 신뢰도가 하락세를 보이고 있다는 분석이 나왔다. (사진=세일즈포스)

개인화된 서비스 측면에서는 진전이 있었다. 기업이 고객 개개인의 특성을 이해하고 있다고 느끼는 소비자 비율은 2023년 39%에서 2024년 73%로 약 2배 늘었다. 그러나 동시에 기업의 데이터 활용이 자신에게 도움이 된다고 생각하는 비율은 2022년 60%에서 2024년 49%로 하락했다. 응답자의 71%는 개인정보 보호에 더욱 민감해졌다고 응답했다.

기업의 AI 활용에 대한 소비자들의 기대치 또한 높아진 것으로 나타났다. 특히 응답자들은 기업의 신뢰도 향상을 위한 요인으로 ▲AI 활용의 투명성(42%) ▲결과물에 대한 인간 검증(35%) ▲AI 사용량에 대한 사용자 제어 강화(32%) ▲결과물의 설명 가능성(31%) 등을 지목했다. 71%의 응답자가 AI의 결과물을 사람이 검증하는 것이 중요하다고 응답했다. 또 AI 활용에 있어 기업이 투명하고 명확한 기준을 제시해야 할 필요성이 높아진 것으로 나타났다.

그럼에도 AI의 장기 전망에 대해서는 긍정적인 의견이 우세했다. 49%의 응답자가 향후 10년 내 AI가 인간의 능력과 비슷한 수준에 도달할 것으로 예상했다. 특히 Z세대와 밀레니얼 세대에서 사람을 대신해 행동할 수 있는 능력을 갖춘 자율형 AI 에이전트에 대한 긍정적인 반응이 두드러졌다. 이들 중 43%는 AI 에이전트를 통해 고객경험의 수준이 향상됐다 평가했다. 이는 베이비부머 세대(32%)와 큰 차이를 보였다.

AI 에이전트의 실제 활용에 있어서는 업무 특성에 따른 선호도 차이가 뚜렷했다. 일정 예약(40%)이나 개인화된 콘텐츠 제작(38%) 등 단순 업무에는 긍정적이었다. 재정적인 결정(58%)이나 의료 상담(44%) 등 전문성이 필요한 영역에서는 불편함을 느끼고 있다고 응답한 비율이 상대적으로 높았다.

또 응답자의 72%는 AI 에이전트와 대화 중이라는 사실을 인지하고 싶어했다. 46%는 필요할 때 사람과 연결될 수 있는 경로의 필요성을 강조했다. 45%는 AI가 의사결정을 내린 근거가 명확히 설명될 때 더 신뢰할 수 있다고 답했다.