[AI 고속도로] "GPU만으론 안 된다"…AI 데이터센터 경쟁력, 전력·냉각에 달려

인공지능(AI) 확산으로 데이터센터 투자 경쟁이 달아오르고 있지만 인프라 전략은 단순 증설보다 불확실성 대응에 초점을 맞춰야 한다는 주장이 제기됐다. 전력 확보, 냉각 방식, 입지 전략, 주권형 AI 구축 방식 등을 둘러싼 기존 통념이 최근 들어 빠르게 흔들리고 있어서다.

26일 가트너가 발표한 'AI 데이터센터에 대한 10가지 오해' 보고서에 따르면 AI는 데이터센터를 하나의 방향으로 바꾸는 것이 아니라 수요 불확실성, 전력 제약, 중앙집중형 학습과 분산형 추론, 표준화와 유연성 사이의 긴장을 동시에 키우고 있는 것으로 나타났다.

가트너는 "오는 2031년에는 AI 인프라 경쟁력의 핵심이 더 정확한 예측이 아닐 것"이라며 "불확실한 예측을 전제로 얼마나 빠르게 대응했는가에서 갈릴 것"이라고 내다봤다.

가트너는 장기 수요 예측에 대한 과신을 가장 먼저 경계했다. AI 모델 구조와 효율화 기술, 업무 부하 패턴이 빠르게 바뀌면서 AI 인프라 수요를 5년 단위로 정밀하게 예측하기 어려워졌다는 판단에서다. 또 AI 워크로드가 학습 중심에서 추론 중심으로 이동하고, 혼합 전문가 모델(MoE)이나 소형 특화 모델이 확산되면 필요한 컴퓨팅 자원 규모도 단기간에 달라질 수 있다고도 지적했다.

이처럼 수요 전망이 흔들리면 인프라 투자 방식도 달라질 수밖에 없다. 고정된 전망에 맞춰 대규모 설비를 한 번에 선투자할 경우 과잉 구축이나 자산 저활용 위험이 커지기 때문이다.

가트너는 "정적인 예측을 시나리오 기반 계획과 선택권 확보 전략으로 대체해야 한다"며 "모듈형 인프라, 단계적 투자, 하이브리드 조달 모델을 통해 수요 변화에 따라 빠르게 확장하거나 축소할 수 있는 역량을 확보해야 한다"고 제언했다.

수요 불확실성은 워크로드 배치 전략에도 영향을 미치고 있다. 기존에는 AI 인프라가 하이퍼스케일 데이터센터에 집중될 것이라는 전망이 많았지만, 가트너는 이를 단순화된 해석으로 봤다.

가트너는 "대규모 학습은 여전히 중앙집중형 클러스터에 적합하지만, 추론은 지연시간과 데이터 주권, 이용자 근접성 때문에 지역 거점과 엣지 인프라로 분산될 가능성이 크다"고 분석했다.

이에 따라 데이터센터 사업자와 클라우드 기업은 단일 초대형 캠퍼스 중심 전략만으로 AI 수요 변화에 대응하기 어려워질 전망이다. 대규모 학습은 고성능 그래픽처리장치(GPU)가 밀집된 대형 클러스터에서 처리하되, 추론은 이용자와 데이터 발생 지점에 가까운 지역 거점으로 분산 배치하는 방식이 요구된다.

워크로드가 분산되면 입지 전략의 기준도 달라지게 될 것으로 보인다. 단순히 네트워크 연결성이 좋은 핵심 권역에 데이터센터를 짓는 것만으로는 충분하지 않아서다.

가트너는 "전력 확보는 더 이상 단순한 조달 문제가 아니라 AI 인프라가 어디에서, 얼마나 빠르게 확장될 수 있는지를 결정하는 전략적 제약"이라며 "입지 선정, 용량 계획, 구축 일정을 전력망 현실에 맞춰 조정해야 한다"고 강조했다.

송전망 접속 지연, 전력망 한계, 인허가 기간도 데이터센터 건설이나 서버 도입 주기보다 길어질 수 있다는 점에서 주목해야 할 부분이다. AI 가속기와 고밀도 랙을 확보해도 전력망 연결이 늦어지면 실제 가동은 지연될 수 있다는 점도 고려해야 한다. 이 때문에 데이터센터 입지 경쟁은 기존 핵심 권역 중심에서 전력 확보 가능성, 건설 속도, 비용, 규제 리스크를 함께 따지는 방식으로 바뀌고 있다.

전력 제약은 냉각 전략 변화로도 이어진다. AI 서버 밀도가 높아질수록 기존 공랭식만으로는 대응하기 어려운 구역이 늘어나기 때문이다.

가트너는 "고밀도 AI 클러스터에는 액체냉각이 필수적이지만, 모든 설비가 액체냉각으로 전환되지는 않을 것"이라며 "일반 기업용 워크로드나 혼합형 데이터센터에서는 공랭식도 여전히 유효하다"고 분석했다.

이에 따라 전면적인 액체냉각 전환보다 혼합 냉각 전략이 현실적인 대안으로 제시된다. 고밀도 AI 구역에는 액체냉각을 적용하고, 기존 업무나 낮은 전력밀도 구역에는 공랭식을 유지하는 방식이다. 이는 기존 데이터센터의 역할 변화와도 연결된다.

가트너는 AI가 전통 데이터센터를 대체할 것이라는 전망도 오해로 분류했다. 기업 애플리케이션, 서비스형 소프트웨어(SaaS), 일반 클라우드 서비스는 앞으로도 상당 부분 기존 환경에서 운영될 가능성이 크다. 다만 AI 확산으로 전력밀도, 냉각, 전기 인프라 재설계 요구가 커지면서 기존 데이터센터를 선별적으로 업그레이드하는 현대화 전략이 중요해지고 있다.

기존 인프라를 어떻게 활용할지는 주권형 AI 전략과도 맞닿아 있다. 가트너는 주권형 AI를 완전한 국내 인프라 스택 구축으로만 해석해서는 안 된다고 봤다. 데이터 통제, 운영 거버넌스, 선택적 인프라 현지화를 조합하고, 민감 데이터나 규제 대상 워크로드는 로컬 인프라에 두되 대규모 연산이나 범용 업무는 글로벌 플랫폼을 활용하는 혼합 접근이 필요하다고 분석했다.

기술 변화 속도가 빠른 만큼 표준화 전략도 고정형 설계에서 벗어나야 할 것으로 보인다. 표준 랙 설계와 참조 아키텍처는 구축 속도와 일관성을 높이지만, AI 하드웨어와 전력밀도, 냉각 요건이 빠르게 바뀌는 환경에서는 오히려 전략적 위험을 키울 수 있어서다. 이에 가트너는 고정 구성 전체가 아니라 모듈과 인터페이스 수준에서 표준화해야 한다고 제안했다.