AI는 있는데 성과는 없다…AX 전환이 멈추는 이유

글로벌 기업들은 인공지능(AI) 도입에 수조 원을 쏟아부었고, 국내 대기업들도 앞다퉈 AI 전환(AX, AI Transformation)을 선언했다. 임원 발표자료마다 생성형 AI가 등장했고, AI 담당 조직이 신설됐으며, 부서마다 시범 과제 하나쯤은 돌아간다. 그런데 정작 현장에서 들리는 이야기는 냉정하다. ‘도입은 했는데 쓰는 사람이 없다’, ‘파일럿은 끝났는데 전사적 도입으로 못 가고 있다’, ‘AI가 정말 생산성을 증가시키는지 모르겠다’, 이렇듯 AI는 넘치는데 성과는 없다. 이것이 지금 수많은 기업이 직면한 AX의 역설이다.

맥킨지가 2025년 11월 발표한 글로벌 서베이 에 따르면 AI를 전사 규모로 확산한 기업은 3분의 1 수준에 그쳤고 나머지 약 3분의 2는 여전히 파일럿 단계에 머물러 있는 것으로 나타났으며, 2025년 7월 MIT가 발표한 '기업 AI 실태 보고서(The GenAI Divide)'에서도 생성형 AI 시범 과제의 약 95%가 손익에 유의미한 영향을 주지 못한 채 멈췄고 실제로 가치를 만들어낸 곳은 5%에 불과하다고 분석했다. 이는 특정 기업의 무능이나 일시적인 시행착오가 아니라 대다수 기업이 AX를 추진하는 방식에 있어 공통적으로 존재하는 구조적 한계가 존재함을 시사한다.

최규석 기술사

AI와 AX는 다르다: 도구를 샀을 뿐 전환은 하지 않았다

여기서 우리는 두 단어를 구분해야 한다. AI와 AX다. AI는 기술이고 도구다. 반면 AX(AI Transformation)는 그 도구를 중심으로 일하는 방식과 조직을 다시 설계하는 일이다. 자동차를 한 대 들여놓는 것이 AI라면, 도로를 깔고 신호 체계를 바꾸고 사람들의 이동 습관까지 재편하는 것이 AX다.

대부분의 실패는 AI를 샀을 뿐 AX를 하지 않은 데서 비롯된다. 기존 프로세스는 그대로 둔 채 그 위에 AI를 한 겹 얹으면 잘해야 기존 업무가 조금 빨라진다. 일하는 구조 자체가 바뀌지 않으면 성과는 결코 임계점을 넘지 못한다. 개인의 생산성이 조금 올라가는 것과 회사의 손익이 달라지는 것은 전혀 다른 이야기이기 때문이다.

이를 조금 더 세부적으로 들여다보면 문제는 대부분의 조직이 '샀다'는 사실을 '바꿨다'로 착각하는 데 있다. 도구를 도입하면 사람들은 그것을 곧바로 익숙한 자리에 끼워 넣는다. 손으로 하던 보고서 작성에 AI를 붙이고, 늘 하던 회의 준비에 AI 요약을 얹는다. 겉보기엔 무언가 달라진 것 같지만 일의 순서도, 일의 방식도, 그 일을 왜 하는지도 그대로다. AI를 낡은 프로세스의 모양에 맞춰 구부린 것이다. 도구가 일하는 방식과 조직을 바꾸는 것이 아니라, 기존 방식과 조직이 도구를 길들여 버린 셈이다.

그래서 도입 초기의 성공 사례들은 대개 그 자리에서 멈춘다. 파일럿은 성공하고 시연은 인상적이고 몇몇 팀에서는 시간이 줄었다는 후기가 나온다. 그런데 반년이 지나도 손익계산서는 미동조차 없다. 개인이 아낀 30분이 조직의 숫자로 합산되지 않기 때문이다. 아낀 시간은 대개 또 다른 잡무로 채워지거나, 애초에 없어도 될 일을 더 정교하게 만드는 데 쓰인다. 진짜 전환은 무언가를 '더하는' 데서가 아니라 '덜어내는' 데서 시작된다. 업무의 단계를 줄이거나 아예 없앨 수 있는가, 누군가 하던 일을 이제 하지 않아도 되는가 이러한 질문에 답하지 못하면 그것은 전환이 아닌 단순히 도구를 구매한 것에 지나지 않는다.

구매와 전환을 가르는 기준은 무엇을 측정하고 있는지를 보면 된다. 도입한 계정 수, 사용률, 절약된 시간을 자랑하고 있다면 여전히 도구를 사고 있는 것이다. 반면 일의 단위 자체가 달라졌는지, 예전엔 다섯 명이 하던 일을 두 명이 다른 방식으로 하고 있는지, 아예 사라진 업무가 있는지를 묻고 있다면 비로소 전환의 문턱에 선 것이다. 자동차를 몇 대 샀느냐가 아니라 사람들이 이제 어디로 어떻게 다니게 되었는지를 묻고 답할 수 있을 때 AX의 성패는 갈린다.

성공하는 AX의 조건: 도구가 아니라 문제에서 출발한다

앞서 2025년 MIT가 발표한 실태 보고서에서 300여 건의 기업 AI 도입 사례를 뜯어본 결과 실질적인 성과로 이어진 것은 5%에 불과했다고 밝혔다. 주목할 점은 그 격차를 가른 것이 모델의 성능이나 규제 환경이 아닌 기업의 '접근 방식'이었다는 점이다. 같은 시기에 같은 모델을 손에 쥐고도 누구는 성과를 냈고 누구는 시연장 밖으로 나오지 못했다.

그렇다면 성과를 만든 기업들은 무엇이 달랐을까. 성공한 전환에는 몇 가지 공통된 조건이 있다. 그리고 그 조건들은 하나같이 'AI를 어떻게 쓸까'가 아니라 '무엇을 어떻게 바꿀까'에서 출발한다. AI를 먼저 손에 쥐고 쓸 곳을 찾아 헤매는 대신, 바꾸고 싶은 일을 먼저 정의하고 그 일을 다시 설계하는 수단으로 AI를 끌어들였다. 순서가 바뀌면 결과도 바뀐다. 이를 다섯 가지 조건으로 정리하면 다음과 같다.

첫째, 도구가 아니라 문제에서 출발한다. 실패하는 조직은 "생성형 AI를 어디에 써 볼까"를 묻지만, 성공하는 조직은 "지금 가장 비싸고 느리고 반복적인 업무가 무엇인가"를 먼저 묻는다. AI는 답이 아니라 도구이므로 풀어야 할 문제가 명확할 때 비로소 제 값을 한다. 병목이 분명한 지점 하나를 골라 거기서부터 판을 다시 짜는 것, 이것이 막연한 도입보다 언제나 앞서야 한다.

둘째, 프로세스를 다시 그린다. 앞서 말했듯 전환은 더하기가 아니라 덜어내기에서 시작한다. AI를 기존 업무 흐름 위에 얹는 것이 아니라, AI를 전제로 업무의 순서와 단계를 백지에서 다시 설계해야 한다. 프로세스 혁신(PI, Process Innovation)이 다시 중요해지는 지점이다. 다섯 단계를 두 단계로 줄이고, 사람이 하던 검토를 자동화된 검증으로 대체하며, 필요 없어진 산출물은 과감히 없앤다. 일의 모양 자체가 바뀌지 않는 한 성과는 개인 생산성의 층위에 갇히고 만다.

셋째, 데이터와 인프라라는 토대를 갖춘다. 아무리 뛰어난 모델도 흩어지고 오염된 데이터 위에서는 제 성능을 내지 못한다. 성공한 기업들은 화려한 시연에 앞서 데이터를 정리하고, 시스템을 연결하고, AI가 실제 업무 시스템에 접근할 수 있는 통로를 먼저 닦았다. 눈에 잘 띄지 않지만 이 토대의 유무가 파일럿과 전사 확산을 가르는 결정적 분기점이 된다.

넷째, 측정 기준을 손익 중심으로 바꾼다. 계정 수와 사용률, 절약된 시간을 자랑하는 한 그것은 여전히 도구를 사는 일이다. 성공하는 조직은 처음부터 '이 전환이 손익계산서의 어떤 숫자를 움직이는가'를 지표로 삼는다. 무엇을 측정하느냐가 곧 무엇을 바꾸느냐를 결정하기 때문이다. 올바른 지표는 조직 전체가 도구의 도입이 아닌 실제 성과를 향하도록 방향을 잡아 준다.

다섯째, 이 모든 것을 밀어붙일 주체와 권한이 있다. 프로세스를 다시 긋고 사라져도 될 업무를 실제로 없애는 결정은 개별 팀의 권한 밖에 있다. 전환을 이끌 위치에 선 사람이 자기 조직의 일부를 덜어낼 각오로 이 결단을 내려야만 앞의 네 조건이 비로소 개인의 노력을 넘어 조직의 성과로 합산된다.