인공지능(AI) 도입에 야심 찬 기업은 넘쳐난다. 하지만 야망과 실행 역량은 다른 문제다. 히타치 밴타라의 ‘2025 데이터 인프라 현황 글로벌 보고서’에 따르면 미국과 캐나다 기업 중 데이터를 효과적으로 관리할 거버넌스 체계와 인프라 역량을 갖춘 곳은 42%에 불과하다. 절반 넘는 기업이 AI 확장 기반 자체가 갖춰지지 않은 상태에서 투자를 늘리는 셈이다.
많은 기업이 그 원인을 모델 성능에서 찾으려 한다. 더 좋은 LLM을 선택하고 더 많은 컴퓨팅 자원을 확보하면 문제가 해결될 것이라는 기대다. 하지만 고성능 모델을 도입하고도 기대한 성과가 나오지 않는 경우가 반복되면 문제는 모델이 아닌 다른 곳에 있을 가능성이 높다.
AI 성과를 좌우하는 것은 모델의 정교함이 아니라 그 모델이 작동하는 기반인 데이터, 거버넌스, 인프라의 완성도다. 모델 기술은 빠르게 범용화되고 있다. 지금 기업이 집중해야 할 곳은 더 나은 모델을 찾는 일이 아니라 어떤 모델이든 제 성능을 낼 수 있는 환경을 만드는 일이다.
파일럿이 현장에서 외면 받는 이유
AI를 실제 운영 환경으로 확장하는 데 성공한 기업이 전체의 31%에 불과하다는 글로벌 회계·컨설팅 기업 KPMG의 '글로벌 테크 리포트 2024' 결과는 이 간극을 단적으로 보여준다. 파일럿은 통제된 환경에서 정제된 데이터로 설계되지만 프로덕션은 다르다. 온프레미스, 멀티 클라우드, 레거시 시스템에 흩어진 데이터를 실시간 다뤄야 하고, 조직마다 다른 접근 권한과 보안 정책이 뒤섞인 환경에서 AI가 일관된 결과를 내야 한다.
이 벽을 넘지 못하는 이유는 대부분 기술이 아니다. 히타치 밴타라 보고서에서 데이터 관리 체계와 인프라 역량을 충분히 갖춘 기업의 84%가 AI 투자에서 측정 가능한 성과를 거둔 반면, 그렇지 못한 기업은 48%에 그쳤다. 같은 모델, 비슷한 예산이라도 운영 기반 차이가 성과를 두 배 가까이 차이나게 한다. 파일럿이 현장에서 외면 받는 이유는 모델 부족이 아니라 모델이 작동할 환경이 준비되지 않아서인 경우가 많다.
리스크 키우는 거버넌스 없는 확장
AI 확산이 빨라질수록 이를 관리할 거버넌스 체계의 중요성도 커진다. EY(Ernst & Young)가 2026년 초 미국 기술 업계 리더 500명을 대상으로 실시한 '테크놀로지 펄스 폴(Technology Pulse Poll)' 조사에서 AI 도입 속도가 리스크 관리 역량을 앞지르고 있다고 답한 비율이 78%에 달했다. 절반이 넘는 부서 단위 AI 이니셔티브가 공식 승인이나 감독 없이 운영된다는 사실도 같은 조사에서 드러났다.
통제되지 않는 확산은 조용히 리스크를 키운다. AI가 어떤 근거로 어떤 판단을 내렸는지 설명하지 못하는 상황, 민감 데이터가 어디서 어떻게 쓰이는지 파악되지 않는 상황이 반복되면 현업의 신뢰는 쌓이지 않는다. 기술적으로 작동해도 조직이 믿고 쓰지 않으면 AI는 확장되지 못한다. 거버넌스는 AI의 속도를 늦추는 제약이 아니라 AI가 조직 안에서 지속적으로 신뢰받으며 작동하기 위한 조건이다.
AI가 실제 작동하는 환경은 '인프라'
인프라를 AI의 배경 요소로 보는 시각이 아직 많다. 그러나 AI 워크로드가 커질수록 인프라 설계의 영향은 성과에 직접적으로 드러난다. 데이터가 어디에 있든 일관되게 접근하고 거버넌스 정책을 균일하게 적용해야 AI 시스템이 필요한 데이터를 필요한 시점에 신뢰 가능한 형태로 쓸 수 있다. 하이브리드 환경에서 데이터 흐름이 단절되거나 환경마다 다른 정책이 적용되면 모델은 있어도 제대로 된 추론을 기대하기 어렵다.
확장성도 마찬가지다. AI 워크로드는 선형적으로 늘지 않는다. 새로운 모델과 서비스가 추가될 때마다 데이터 규모와 처리 요구가 급격히 커진다. 이를 감당하려면 용량을 단순히 늘리는 방식이 아닌 워크로드 변화에 유연하게 대응하면서 운영 부담은 줄이는 구조가 필요하다. 인프라는 AI 프로젝트가 끝난 뒤 남는 잔여 과제가 아닌 처음부터 함께 설계해야 할 운영 조건이다.
기반 갖춘 기업이 격차 벌여
히타치 밴타라 보고서에서 IT 리더의 70%가 향후 2년 내 AI 투자를 확대할 계획이라 밝혔다. 기업들의 투자 의지는 충분하다. 그러나 같은 보고서는 그 투자가 어디를 향해야 하는지도 함께 보여준다. 데이터 성숙도가 낮고 운영 기반이 정비되지 않은 상태에서는 아무리 많은 자원을 투입해도 AI는 기대한 성과를 내기 어렵다.
AI 전략이 파일럿을 넘어 실제 성과로 이어지려면 모델 선택 이전에 운영 기반부터 점검해야 한다. 데이터가 신뢰할 수 있는 상태로 흐르는지, 거버넌스가 확장 과정에서도 일관되게 작동하는지, 인프라가 변화하는 워크로드를 안정적으로 감당할 수 있는지가 AI 확장의 핵심 조건이 된다.
최근 기업들은 하이브리드 환경 전반에서 데이터를 일관되게 관리하고 운영 복잡도를 줄이는 방향으로 인프라 전략을 재정비하고 있다. 특히 데이터 거버넌스와 운영 자동화를 함께 고려한 통합 운영 환경 구축에 대한 관심이 커지는 추세다. 이 영역은 HS효성인포메이션시스템이 오랜 기간 축적해 온 핵심 역량과 맞닿아 있다. HS효성인포메이션시스템은 하이브리드 클라우드 기반 데이터 인프라 구축, 데이터 관리·거버넌스 체계 설계, 자동화 운영 역량을 바탕으로 기업이 AI를 실제 운영 환경에 안착시키는 과정을 지원하고 있다. AI 경쟁력은 결국 어떤 모델을 선택하는가보다, 그 모델이 얼마나 신뢰할 수 있는 기반 위에서 안정적으로 운영되는가에서 갈린다.
*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.
