[AI는 지금] 초거대 AI 네트워크 전쟁…GPU 넘어 '연결'에 답 있다

거대 인공지능(AI) 모델의 발전이 데이터센터의 숨은 약점인 '네트워크'의 한계를 드러내고 있다. 그래픽처리장치(GPU) 성능 경쟁을 넘어 방대한 데이터를 효율적으로 처리하고 연결하는 기술이 AI 시대의 새로운 승부처로 떠올랐다.

19일 업계에 따르면 지난 20년간 GPU 등 AI 연산 장치의 성능은 6만 배 이상 향상됐지만 이들을 잇는 네트워크 기술 발전은 30배 수준에 그쳤다. AI 모델의 파라미터가 조 단위로 커지면서 소프트웨어의 요구 수준은 급격히 높아졌지만 이를 뒷받침할 하드웨어 인프라가 따라가지 못하는 '성능 불균형'이 심화된 탓이다.

이러한 병목 현상은 AI 시스템 전체의 효율 저하로 이어진다. 과거 데이터센터는 중앙처리장치(CPU)가 애플리케이션 구동 외에 가상화, 네트워킹, 스토리지, 보안 등 온갖 부가 작업을 떠안아왔다. 특정 연산에 특화되지 않은 CPU에 과부하가 걸리면서 데이터 처리의 비효율이 발생했다.

거대 AI 모델의 발전으로 기술 경쟁의 초점이 GPU 성능을 넘어 데이터센터의 숨은 약점이었던 '네트워크'를 효율적으로 연결하는 방향으로 옮겨가고 있다. (사진=챗GPT 이미지 생성기)

AI 병목 해결사 'DPU'…엔비디아 독주 속 경쟁 본격화

이 문제를 해결할 대안으로 데이터처리장치(DPU)가 주목받고 있다. DPU는 CPU를 대신해 데이터센터 운영에 필요한 각종 입출력(I/O) 작업을 오프로드(Offload)하고 가속하는 특화 반도체다. 이를 통해 CPU는 본연의 연산에 집중하고 데이터센터는 ▲성능 향상 ▲운영 비용 절감 ▲비용 효율적 확장이라는 세 마리 토끼를 잡을 수 있다.

다만 DPU 시장은 현재 특정 기업의 기술 종속이라는 그림자에 갇혀 있다. AI 인프라 시장의 절대 강자인 엔비디아가 자사의 독자 규격 '인피니밴드(InfiniBand)'를 기반으로 GPU와 DPU를 함께 공급하며 폐쇄적인 생태계를 구축했기 때문이다. 이로 인해 고객사들은 다른 업체의 장비를 쓸 때 호환성 문제에 부딪혀 결국 엔비디아에 락인 된 상태다.

엔비디아의 독주 체제에 균열을 내려는 시도는 세계 곳곳에서 일어나고 있는 상황이다. AMD는 지난 2022년 DPU 스타트업 '펜산도'를 약 인수하며 추격에 나섰고 인텔 역시 '마운트 에반스'와 같은 인프라처리장치(IPU)로 경쟁에 뛰어들었다.

최근에는 중국이 정부와 빅테크의 지원에 힘입어 DPU 스타트업의 새로운 산실로 떠오르는 추세다. 중커위수(Yusur Tech), 윈바오즈넝(Jaguar Microsystems) 등 수많은 현지 기업들이 엔비디아의 아성에 도전하고 있다. 이러한 글로벌 격전지 속에서 국내에서는 망고부스트가 사실상 유일하게 이들과 어깨를 나란히 하는 플레이어로 평가받는다.

망고부스트, SW·HW '풀스택' 역량…'엠엘퍼프 1위'로 기술력 입증

지난 2022년 김장우 서울대 교수가 10년간의 연구 결과를 바탕으로 창업한 망고부스트는 개방형 표준 기술인 '이더넷' 기반의 DPU 솔루션으로 시장을 공략한다. 엔비디아의 폐쇄 생태계와 달리 망고부스트의 DPU는 이더넷을 지원하는 모든 장비와 호환돼 다양한 업체의 GPU나 신경망 처리장치(NPU)를 자유롭게 활용할 수 있는 점이 특징이다.

이 회사는 하드웨어와 소프트웨어를 모두 아우르는 '풀스택' 역량을 강점으로 내세운다. 주요 제품으로는 ▲DPU 카드인 'GPU부스트'와 '스토리지부스트' ▲DPU 칩렛·IP ▲AI 시스템 소프트웨어 'LLM부스트' 등이 있다.

망고부스트의 기술력은 객관적인 성능 지표로도 입증됐다. AI 추론 성능을 측정하는 '엠엘퍼프(MLPerf) 인퍼런스 5.0' 벤치마크에서 AMD 인스팅트 '엠아이300엑스(MI300X)' GPU 4개 노드를 활용해 '라마2 70B' 모델 기준 역대 최고 처리량을 기록했다. 이는 망고부스트의 소프트웨어가 멀티노드 환경에서 선형적인 성능 확장을 이끌어낸 결과다.