인공지능(AI) 서버 시장을 주도하고 있는 주요 업체들이 엔비디아의 차세대 그래픽처리장치(GPU) '블랙웰'을 탑재한 제품을 잇따라 출하하면서 세대교체가 본격화되는 분위기다. '블랙웰'이 기존보다 발열이 심한 탓에 수랭식 냉각 시스템을 적용한 데이터센터를 중심으로 이 서버를 도입할 수 있다는 제약이 있지만, AI 기술 경쟁에 나선 기업들은 선제적으로 물량을 확보하기 위해 대규모 투자에 적극 나서고 있다.
24일 업계에 따르면 일론 머스크 테슬라 최고경영자(CEO)가 만든 AI 기업 xAI는 미국 서버업체 델 테크놀로지스와 최근 50억 달러(약 7조원) 이상 규모의 서버 구매 계약을 체결할 것으로 알려졌다. 이 서버는 엔비디아의 'GB200' 시스템을 탑재한 것으로, xAI가 현재 테네시주 멤피스에 짓고 있는 데이터센터에 적용될 것으로 전해졌다.
'GB200'은 엔비디아의 GPU '블랙웰'이 장착된 시스템으로, 대규모 AI 모델 훈련 및 추론에 필요한 컴퓨팅 성능을 제공한다. 엔비디아는 '블랙웰'을 출시하면서 72개의 GPU와 36개의 중앙처리장치(CPU)를 결합한 GB200 NVL72 형태로 판매하고 있다.
수랭식 엔비디아 GB200 NVL72는 공랭식 엔비디아 'H100' 시스템 보다 최대 25배 더 효율적인 것으로 평가 받고 있다. 블랙웰 기반 'B100' 제품의 경우 호퍼 기반의 'H100' 제품보다 AI 추론 성능이 30배 향상된 것으로 분석됐다.
이에 경쟁사인 다른 빅테크들도 '블랙웰'이 탑재된 서버 출시를 앞두고 대규모 투자 계획을 내놓은 상태다. 구글 모회사 알파벳은 올해 AI 인프라 등에 약 750억 달러(한화 109조원)를, 마이크로소프트(MS)는 전년보다 60% 늘어난 800억 달러를 AI 분야에 투자키로 했다. 페이스북 모회사 메타도 650억 달러를 투자할 계획이라고 밝혔다.
최근 오픈AI와 소프트뱅크, 오라클 등이 함께 추진하고 있는 '스타게이트'도 전 세계 AI 관련 시설 투자 확대 움직임에 불을 지폈다. 이 업체들은 합작 벤처 형태로 미국 내 AI용 데이터센터 건설에 최대 5천억 달러(약 730조원)를 향후 4년간 투자하는 방안을 구상 중이다. 또 이 기업들은 이미 델과 폭스콘, 윈스트론 등 협력사를 통해 '블랙웰' GPU 기반 제품 주문도 넣은 것으로 전해졌다.
모건스탠리는"올해 세계 10대 클라우드 업체의 설비 투자 금액은 지난해보다 약 32% 늘어난 3천500억 달러(약 504조4천억원)에 이를 것으로 보인다"며 "스타게이트가 전 세계 AI 시설 투자 확대를 주도하는 역할을 담당하고 있다"고 분석했다.
이에 맞춰 서버업체들의 움직임도 분주해졌다. 업계 강자인 델 테크놀로지스는 지난해 말부터 일찌감치 '델 파워엣지 XE9712'를 AI 하이퍼스케일러 기업인 '코어위브(CoreWeave)'에 공급해 주목 받았다. 엔비디아 'GB200'을 탑재한 서버를 고객에 납품한 것은 델 테크놀로지스가 업계 처음이다.
'델 파워엣지 XE9712'는 엔비디아 기반 델 AI 팩토리 포트폴리오에 속한 제품으로, 대규모 AI 구축 환경의 거대언어모델(LLM) 학습 및 실시간 추론을 위한 고성능의 고집적 가속 컴퓨팅을 제공한다. 또 '블랙웰' 아키텍처 기반인 'GB200 NV L72'를 탑재해 우수한 GPU 집적도를 보여준다.
슈퍼마이크로도 지난 5일 '블랙웰'을 활용한 AI 데이터센터용 서버를 대량 생산 및 공급할 수 있게 됐다고 발표하며 고객 확보에 본격 나섰다. HPE 역시 지난 20일 '블랙웰' 기반 첫 번째 솔루션인 엔비디아 'GB200 NVL72'를 공식 출하한다고 밝혔다.
직접 서버를 만들어 판매하는 ODM 업체들도 일정 차질 없이 '블랙웰'을 탑재한 서버 공급을 진행 중인 것으로 알려졌다. 대표적인 ODM 업체인 대만 폭스콘은 지난해 4분기에 소량 공급을 시작한 후 올해 1분기부터 생산량을 확대할 계획이다. 콴타도 올해 1분기부터 대량 생산을 개시할 예정이다.
이처럼 서버업체들이 '블랙웰'을 탑재한 AI 서버를 속속 내놓고 있지만, 업계에선 당장 세대교체가 쉽진 않을 것으로 봤다. '블랙웰'의 발열 문제와 함께 가격이 '호퍼' 대비 50~60% 높아 부담이 크기 때문이다. '호퍼' 가격은 개당 4만 달러(한화 5천만원)가 넘는 것으로 알려졌다.
발열 문제에 따른 시스템 구축 비용도 만만치 않다. 현재 대부분의 데이터센터 냉각 방식은 공랭식(공기로 냉방)이 압도적으로 많은 상태지만, '블랙웰'의 발열을 잡기 위해선 투자 비용이 더 많이 드는 수랭식(냉각수로 냉방) 시스템이 갖춰져야 하기 때문이다. 앞서 젠슨 황 엔비디아 CEO도 "차기 GPU인 '블랙웰'부터는 데이터센터에 수랭식을 도입하기 바란다"고 밝힌 바 있다.
이에 '쩐의 전쟁'에서 밀리고 있는 국내 업체들은 미국 빅테크들과 달리 '블랙웰' 탑재 서버 출하 소식에도 머뭇거리고 있다. 네이버클라우드, KT클라우드, NHN클라우드 등 토종 클라우드서비스제공사업자(CSP)를 비롯해 삼성SDS 등 대규모 데이터센터를 보유한 국내 업체들은 아직까지 선뜻 도입하기를 꺼려하는 분위기다.
업계 관계자는 "국내 데이터센터는 대부분 공랭식 시스템으로 냉각 방식이 운영되고 있다"며 "'블랙웰'은 데이터센터 설계 때부터 수랭식 시스템 도입이 고려된 곳을 중심으로 적용할 수밖에 없다 보니 국내에선 이를 감당할 수 있는 곳이 거의 없는 것으로 안다"고 설명했다.
이어 "기존 데이터센터를 운영하는 곳보다는 신축 데이터센터를 지으려 나선 기업들을 중심으로 '블랙웰' 탑재 서버를 도입할 수 있을 듯 하다"고 덧붙였다.
이 탓에 국내 기업들은 AI 기술 경쟁력을 끌어올리는 요소로 아직까지 엔비디아 '호퍼'를 기반으로 한 GPU를 경쟁 요소로 삼는 분위기다. NHN클라우드가 광주 AI 데이터센터에 1천 개 이상의 'H100'을, KT클라우드가 자사 AI 훈련 서비스에 'H200'을 도입한다는 점을 앞세워 홍보하는 것이 대표적인 예다.
다만 자체 데이터센터를 보유하고 있는 일부 기업들이 최근 액침냉각 시스템 도입을 잇따라 추진하고 나섰다는 점에서 국내에서도 '블랙웰' 기반 서버 도입이 머지 않았다는 전망도 있다. 현재 국내에서 액침냉각에 관심을 보이고 있는 곳은 SK텔레콤과 삼성SDS, LG CNS 등이다.
특히 삼성SDS는 지난 2022년 12월 가동을 시작한 동탄 데이터센터에 수랭식 시스템과 함께 액침냉각 시스템 적용을 위한 관련 인프라를 갖춰 놓은 상태다. 서버 강자인 델 테크놀로지스와 끈끈한 관계를 유지하고 있다는 점에서 국내에서 '블랙웰' 서버 도입을 가장 먼저 추진할 수도 있을 것이란 기대감을 높이고 있다.
업계 관계자는 "클라우드 컴퓨팅 서비스를 제공하는 CSP들은 엔비디아 고성능 GPU를 얼마나 확보했는지가 중요한 경쟁력이 됐다"며 "지난해 엔비디아, 델 테크놀로지스와 다양한 협업 움직임을 보여줬던 삼성SDS가 'B100' 물량을 확보하게 되면 경쟁사들의 긴장감은 더 해질 것"이라고 내다봤다.
서버 업계 관계자는 "현재 국내에선 삼성SDS와 삼성전자, 네이버, 카카오 등이 블랙웰이 탑재된 서버 도입에 상당한 관심을 가지고 있는 상태"라면서도 "블랙웰에 대한 관심은 높지만 비용 부담이 커 국내에선 호퍼 기반의 서버가 한참 더 인기를 끌 것으로 보인다"고 전망했다.
이에 일각에선 우리나라 정부가 최근 미국, 중국에 이어 'AI 3대 강국'을 목표로 AI 인프라 투자에 나설 것이라고 발표했다는 점에서 기대감을 드러내기도 했다. 현재 AI 경쟁력의 핵심인 데이터센터 개수는 국내 188개로, 미국 5천381개, 독일 521개 등에 비하면 턱없이 부족하다. 소프트웨어정책연구소에 따르면 2023년 한국의 'H100' 보유량은 약 2천 개로, 같은 기간 메타의 15만 개에도 한참 못 미친다. 중국 딥시크가 확보한 A100 1만 장(H100 환산 기준 최소 2천500개)에도 모자란다.
관련기사
이 같은 상황에서 정부는 민관합작 투자를 통해 SPC를 설립, 2조원 가량을 투입해 오는 2027년께 국가AI컴퓨팅센터를 오픈한다는 계획이다. 초기에는 GPU 등 해외 AI반도체를 중심으로 인프라를 구축하되 점차 국산 AI 반도체 비중을 늘리기로 했다. 비중은 2030년까지 50%로 높이는 것이 목표다.
업계 관계자는 "국내 기업들은 미국 빅테크들과 비교해 자금력이 부족한 탓에 수급난이 발생하면 우선 순위에서 밀리는 등 엔비디아 고성능 칩을 확보하기가 쉽지 않았다"며 "정부에서 이처럼 나서 국가AI컴퓨팅센터가 설립되면 최신 칩을 확보해 활용하는 것이 좀 더 수월해질 것으로 기대된다"고 밝혔다.
