[르포] 엔비디아 칩 7656장 열기, 물로 식힌다…NHN클라우드 'AI 심장' 가보니

서울 영등포구 양평동에 위치한 대형 인공지능(AI) 데이터센터 'NHN 팩토리X 서울'. 데이터홀 문이 열리자 검은색 서버 랙이 긴 대열을 이뤄 모습을 드러냈다.

엔비디아 최신 그래픽처리장치(GPU) B200 수천 장이 쉼 없이 연산 중이었지만 예상했던 굉음은 들리지 않았다. 고성능 GPU가 뿜어내는 열을 공기가 아닌 물로 식히는 수랭식 냉각 시스템 덕분이다.

NHN클라우드는 지난 6일 팩토리X 서울의 관제실과 데이터홀 등 주요 시설 투어를 진행했다. 팩토리X 서울은 NHN클라우드가 글로벌 자산운용사 액티스 데이터센터 일부를 임차해 정부와 함께 AI 인프라를 구축한 시설이다.

이곳에는 B200 GPU 총 7656장이 구축돼있다. NHN클라우드는 3층부터 6층까지 4개 층을 사용하며 전력·냉각·네트워크·GPU를 단일 운영 체계로 관리 중이다.

이일준 NHN클라우드 기술사업부장은 "단일 데이터센터에 구축된 GPU 자원으로는 이곳이 국내 최대 규모"라며 "이처럼 대규모 GPU 자원을 수랭식 냉각 방식으로 운영하는 것도 국내에선 첫 사례"라고 강조했다.

일주일 넘는 AI 학습…관제실은 24시간 가동

투어 첫 순서로는 2층 관제실을 방문했다. 벽면을 가득 채운 모니터에는 3~6층에서 가동 중인 GPU 서버와 네트워크, 스토리지 상태가 실시간으로 표시됐다. 장비 사용률과 장애 발생 여부는 물론 데이터홀의 온도와 냉각 환경까지 이곳에서 확인할 수 있다.

AI 모델 학습은 일반적인 기업용 애플리케이션처럼 정규 업무시간에만 돌아가지 않는다. 작업을 시작하면 일주일 이상 이어지기도 하고 대규모 학습은 한 달 가까이 계속될 수 있다. 연산 도중 서버나 네트워크에 문제가 발생하면 그동안 진행한 작업이 영향을 받을 수 있어 중단 없는 관리가 필요하다.

이에 팩토리X 서울 관제실에는 주간 3명, 야간 2명의 운영 인력이 상주하며 2교대로 시설을 관측한다. 물리적 장비 상태와 데이터센터 인프라는 현장에서 관리하고 서비스·애플리케이션 영역은 판교에 있는 NHN클라우드 인력도 원격으로 살피는 체계다.

이 사업부장은 "AI 학습은 낮에만 진행하고 밤에는 멈추는 작업이 아니다"라며 "길게는 일주일이나 한 달씩 연속으로 돌아가기 때문에 안정적인 서비스 제공을 위해 24시간 모니터링하고 있다"고 말했다.

랙 아래 CDU·위에는 냉각 배관…GPU 열 직접 회수

다음으로 6층 데이터홀에 들어서자 가장 먼저 눈에 들어온 것은 8m에 달하는 높은 층고였다. 공랭식 장비에서 배출된 뜨거운 공기가 위로 올라간 뒤 다시 냉각돼 순환할 공간을 확보하기 위한 설계다. 기존 데이터센터 가운데는 층고가 3~5m에 불과한 곳도 있어 고집적 GPU 서버를 배치하기 어렵다는 게 NHN클라우드의 설명이다.

서버 랙의 구성도 일반적인 데이터센터와 달랐다. 한 랙에는 GPU 서버 6대가 배치됐고 가장 아래에는 냉각수분배장치(CDU)가 설치돼 있었다. 랙 상단에는 냉각수를 공급하고 회수하는 배관이 연결됐으며 전력 공급을 위한 케이블 6개가 나란히 내려왔다.

CDU는 데이터센터에서 공급된 냉수와 GPU 서버 내부를 순환하는 냉매 사이에서 열을 교환한다. 서버 내부의 콜드플레이트가 GPU와 중앙처리장치(CPU)에서 발생하는 열을 직접 흡수하고 데워진 냉매는 CDU를 거쳐 다시 냉각된다. 네트워크와 스토리지 등 수랭식이 적용되지 않은 장비는 기존 공랭 방식으로 식힌다.

이 사업부장은 "현재 GPU와 CPU에서 발생하는 열의 약 70%는 수랭 방식으로 제거하고 나머지는 공랭으로 처리한다"며 "네트워크나 스토리지 장비는 여전히 공랭이 필요해 데이터센터에서 공랭 설비를 완전히 없앨 수는 없다"고 설명했다.

NHN클라우드에 따르면 팩토리X 서울은 랙당 75킬로와트(kW)급 고밀도 환경으로 설계됐다. 전체 시설의 수전 용량은 40메가와트(MW), IT 장비에 배정된 전력은 26MW 수준이다. 이 가운데 NHN클라우드가 임차해 사용하는 4개 층에는 약 13MW의 IT 전력이 배정됐으며 현재 정부 프로젝트 및 자체 활용분 대부분을 사용 중이다.

AI 데이터센터 경쟁력, GPU 넘어 전력·냉각으로

AI 데이터센터에서 GPU만큼 중요한 것은 이를 끊김 없이 가동할 전력과 냉각 능력이다. 기존 데이터센터는 서버 랙의 하중과 전력 용량, 층고가 일반 서버에 맞춰 설계된 경우가 많아 고집적 AI 데이터센터로 전환하기 어렵다. 전력 설비를 증설하려 해도 외부 전력 확보부터 변압기·수배전 설비 조달까지 상당한 시간이 필요하다.

팩토리X 서울은 외부 전력을 이중으로 공급받고 무정전전원장치(UPS)와 비상발전기를 갖췄다. 전력망에 문제가 발생하면 UPS가 즉시 전력 공급을 이어받고 이후 발전기가 가동돼 GPU 서버가 갑자기 멈추는 상황을 막는다. 냉각수의 압력과 유량, 온도에도 이상이 발생하면 공급을 자동으로 차단하는 구조를 적용했다.