AI 승부, GPU만으론 안 된다…클라우드 빅테크 한자리에

업계, 클라우드·플랫폼 결합 제언…AI 서비스 중심 인프라 전환 강조

인공지능(AI) 인프라 경쟁의 무게중심이 그래픽처리장치(GPU) 확보에서 AI 데이터센터(AIDC)와 클라우드·플랫폼을 결합한 서비스 경쟁으로 이동하고 있다는 분석이 나왔다.

AI 활용이 학습에서 추론과 에이전트로 확대되는 만큼 전력·냉각·네트워크뿐 아니라 실제 AI 서비스를 안정적으로 운영할 수 있는 소프트웨어 역량까지 갖춰야 한다는 제언이다.

공용준 KT클라우드 전무는 1일 서울 양재 엘타워에서 열린 'AI-클라우드 빅테크 2026'에서 "현재 AI 인프라의 가장 큰 병목은 데이터센터와 전력"이라며 "GPU를 확보하는 것만으론 AI 서비스를 구현하기 어려운 만큼 클라우드와 플랫폼까지 함께 갖춰야 한다"고 강조했다.

공 전무는 최근 AI 인프라 시장의 병목이 GPU에서 데이터센터로 이동하고 있다고 진단했다. GPU 공급 상황은 개선되고 있지만 데이터센터를 구축하는 데 최소 2~3년이 걸리는 만큼 GPU를 확보하기에 앞서 데이터센터 용량을 선점하려는 움직임이 나타나고 있다는 설명이다.

AI-클라우드 빅테크 2026 현장 (사진=한국인공지능클라우드산업협회)

AIDC의 경쟁 기준도 달라질 것으로 전망했다. 단순히 전력과 GPU를 확보하는 데 그치지 않고 AI 서비스를 위한 클라우드와 운영 플랫폼, 네트워크, 안정성 등을 함께 갖춰야 한다는 것이다. AI 서비스가 일상과 기업 업무에 깊숙이 들어오면서 장애 대응과 GPU 스케줄링, 서비스 모니터링 등 운영 역량의 중요성도 커지고 있다.

공 전무는 "AI 서비스가 우리 삶의 한 축으로 자리 잡으면서 기존 IT에서 중요했던 서비스 연속성도 중요해지고 있다"며 "GPU를 효율적으로 스케줄링하고 AI 서비스를 모니터링하는 것은 물론 장애에 대비한 복구 체계까지 마련해야 한다"고 말했다.

박운영 HPE 상무는 AI 시장이 학습 중심에서 추론과 실제 서비스 적용 단계로 이동하면서 기업의 인프라 구축 방식도 달라질 것으로 내다봤다. 기업들이 더 많은 GPU를 확보하는 것보다 AI를 실제 서비스에 적용하고 투자 대비 성과를 만드는 방안을 고민해야 할 시점이라는 설명이다.

특히 에이전틱 AI 확산에 따라 토큰 사용량과 비용 부담이 늘면서 퍼블릭 클라우드에서 시작한 AI 워크로드 일부를 온프레미스나 하이브리드 환경으로 옮기려는 수요가 늘어날 것으로 전망했다. 기업 데이터 보호와 AI 주권에 대한 요구 역시 프라이빗 AI 인프라 수요를 키우는 요인으로 꼽았다.

박 상무는 "이제는 더 많은 GPU를 사야 할지를 고민하기보다 AI를 어떻게 실제 양산에 적용할 수 있을지, 무엇이 문제인지 살펴봐야 할 시점"이라며 "AI에 투자한 비용을 실제 성과로 연결하는 것이 중요해지고 있다"고 말했다.

네이버클라우드도 추론 수요 확대가 AIDC와 AI 팩토리 시장의 성장을 이끌 것으로 전망했다. 김지훈 네이버클라우드 이사는 대규모 GPU 수요가 과거 AI 모델 학습을 중심으로 발생했다면, 최근에는 실제 서비스를 위한 추론 영역으로 빠르게 확대되고 있다고 밝혔다. AI 에이전트와 피지컬 AI 확산까지 더해지면서 AIDC 수요가 일시적인 흐름에 그치지 않을 것이라는 관측이다.

네이버클라우드는 이를 겨냥해 엔비디아와 AI 팩토리 사업을 확대할 계획이다. 대규모 GPU와 고속 네트워크를 제공하는 AI 클라우드 역량에 기존 클라우드의 인증·네트워크·스토리지와 AI 모델·서비스 운영 경험을 결합한다는 전략이다. 글로벌 AI 기업에는 대규모 전용 인프라를, 국방·금융 등 보안 요구가 높은 분야에는 폐쇄형 클라우드 환경을 제공하는 방식이다.

김 이사는 "AI 팩토리는 국가 전체의 AI 수요를 감당하고 경제·산업·사회 전반에 필요한 지능을 대규모로 생산하는 핵심 인프라"라며 "AI 팩토리를 확보했는지, 누가 그 주도권을 갖고 있는지가 한 나라의 경쟁력을 좌우할 것"이라고 강조했다.