"GPU 증설보다 효율 따져야"…망고부스트가 꺼낸 'AI 풀스택' 해법

서울에 42U 서버랙 10대 구축…'망고 인퍼런스'로 서버리스 추론까지 확대

"값비싼 그래픽처리장치(GPU)를 늘리기보다 이미 확보한 자원을 효율적으로 활용해야 하는 시대가 왔습니다."

망고부스트가 인공지능(AI) 인프라 시장에 던진 메시지다. 데이터처리장치(DPU)와 추론 소프트웨어(SW), GPU·스토리지 서버를 하나의 시스템으로 결합해 AI 데이터센터(AIDC)의 병목을 줄이겠다는 전략이다.

망고부스트는 DPU로 사업을 시작했지만 현재는 GPU 서버와 스토리지 서버, AI 추론 SW를 아우르는 AI 풀스택 기업으로 영역을 넓히고 있다. 개별 부품 공급을 넘어 데이터센터에 즉시 구축할 수 있는 랙 단위 시스템과 서버리스 추론 서비스까지 제공하겠다는 구상이다.

김장우 대표 (사진=망고부스트)

이런 전략은 망고부스트가 내세운 '부스트 유어 데이터센터(Boost Your Data Center)' 목표와 맞닿았다. 데이터센터 장비를 계속 늘리기보다 GPU와 서버, 스토리지 사이 데이터 이동을 최적화해 기존 인프라 처리 성능을 최대한 끌어내겠다는 의미다.

망고부스트 기술은 김장우 대표가 이끈 서울대 고성능컴퓨터시스템연구실에서 출발했다. 김 대표는 선마이크로시스템즈와 오라클에서 중앙처리장치(CPU)·시스템 아키텍트로 근무한 뒤 서울대 교수로 재직하며 10년 이상 서버 가속 기술을 연구했다.

김 대표와 연구진은 CPU가 연산뿐 아니라 네트워크와 스토리지 관련 작업까지 처리하는 기존 서버 구조에 주목했다. CPU에 업무가 몰리면 GPU와 스토리지 사이 데이터 이동이 느려지고, 고가의 GPU가 연산을 수행하지 못한 채 대기하는 시간이 늘어날 수 있기 때문이다.

연구진은 CPU가 맡던 네트워크와 스토리지 작업을 별도 반도체로 분리하는 DPU 기술을 개발했다. 김 대표는 연구 결과를 실제 데이터센터 환경에 적용하기 위해 2022년 망고부스트를 설립했다.

망고부스트는 미국 델라웨어 법인으로 출발해 워싱턴주 벨뷰에 본사를 뒀다. 서울과 산호세, 토론토, 도쿄, 인도네시아 등에서도 연구개발과 제품화, 고객 대응 업무를 수행하고 있다.

조직은 연구개발 중심으로 이뤄졌다. 현재 125명 넘는 엔지니어를 확보했으며 전체 인력 약 75%를 연구개발 업무에 배치했다. 

부스트X에서 알폰소·케사르까지…HW·SW 하나로 묶었다

망고부스트 사업 출발점은 자체 DPU '부스트X'다. (사진=망고부스트)

망고부스트 사업 출발점은 자체 DPU '부스트X(Mango BoostX™)'다. 부스트X는 CPU가 담당하던 네트워크와 스토리지, 보안 관련 작업을 대신 처리해 CPU와 GPU가 핵심 연산에 집중하도록 돕는다.

고속 네트워크 기반 AI 인프라에는 '로키 AI(RoCE AI)'가 적용된다. 로키 AI는 통합 이더넷 환경에서 원격직접메모리접근(RDMA)을 지원하는 RoCE 통신을 가속해 GPU와 서버 사이 데이터 전송 과정에서 발생하는 병목을 줄이는 역할을 한다.

망고부스트는 부스트X가 AI 에이전트 인프라 조정 작업까지 지원하도록 기술을 확장하고 있다. AI 에이전트가 여러 모델과 데이터, 외부 도구를 오가는 과정에서 발생하는 네트워크·스토리지 처리를 CPU에서 분리한다는 구상이다.

DPU 위에서는 AI 추론 SW 'LLM부스트(LLM Boost™)'가 작동한다. LLM부스트는 여러 GPU와 서버에 AI 추론 요청을 분배하고 각 GPU가 맡을 작업을 조정해 유휴 시간을 줄이는 역할을 한다.

망고부스트 인프라는 서로 다른 세대나 제조사 AI 가속기를 하나의 클러스터처럼 활용하도록 설계한 것도 특징이다. 기업이 기존 GPU를 폐기하거나 전체 시스템을 최신 장비로 교체하지 않고도 신규 GPU와 함께 운용할 수 있도록 지원한다.

망고부스트 제품라인업. 상용 GPU·CPU·스토리지를 DPU와 SW로 묶어 시스템 최적화에 한창이다. (사진=망고부스트)

특히 GPU 서버 '알폰소(Mango Alphonso™)'는 이들 기술을 완제품 형태로 묶은 제품이다. AMD GPU와 부스트X, LLM부스트를 하나의 서버에 탑재해 AI 모델 학습과 추론에 필요한 연산·통신 환경을 통합했다.

망고부스트 GPU 서버 '알폰소 2' 모습. (사진=망고부스트)

스토리지 서버 '케사르(Mango Kesar™)'는 GPU가 연산에 필요한 데이터를 제때 공급하도록 지원한다. 저장 용량과 처리 성능을 각각 확장할 수 있는 분리형 구조를 채택했으며, DPU가 GPU와 스토리지 사이 통신을 가속한다.

통합 관리 SW '망고 AI 센터(MAC)'는 여러 서버 노드의 GPU·메모리 사용률과 전력, 온도, 네트워크 상태를 한 화면에서 보여준다. 관리자는 GPU가 제대로 활용되고 있는지 확인하고 시스템에서 발생한 병목이나 이상 상태를 파악할 수 있다.

서울에 42U 랙 10대 구축…벤치마크 넘어 실서비스 검증

서울특별시에 위치한 망고부스트 데이터센터. 랙 전면 노란색 패널에는 '부스트 유어 데이센터' 회사 문구가 적혀있다. (사진=망고부스트)

서울에 위치한 망고부스트 데이터센터에 들어서자 검은색 서버랙이 줄지어 있었다. 랙 전면에 설치된 노란색 패널에는 '부스트 유어 데이터센터(BOOST YOUR DATA CENTER)' 문구가 적혀 있었다.

망고부스트는 외부 사업자가 운영하는 코로케이션 데이터센터의 공간과 전력·냉각 설비를 빌려 자체 AI 시스템을 구축하고 있다. 이곳에는 AMD 'MI355X' GPU를 탑재한 42U 규격 서버랙 10대를 배치했다.

각 랙은 GPU 서버 알폰소와 스토리지 서버 케사르를 중심으로 구성됐다. 부스트X와 로키 AI가 GPU·서버·스토리지 사이 데이터 이동을 가속하고, LLM부스트가 여러 GPU에 AI 추론 작업을 분배하는 구조다.

망고 AI 센터 화면에서는 GPU 사용률과 메모리, 전력, 온도, 네트워크 상태를 실시간으로 확인할 수 있었다. 개별 장비가 아니라 랙 전체의 연산 자원과 데이터 흐름을 통합 관리하기 위한 체계다.

망고부스트가 자체 데이터센터를 구축한 이유는 개별 제품이 아닌 전체 시스템의 성능을 검증하기 위해서다. DPU나 SW만 공급하면 고객이 사용하는 GPU와 네트워크, 스토리지 구성에 따라 실제 성능이 달라질 수 있다.

회사는 직접 구성한 데이터센터에서 HW와 SW를 함께 조정해 벤치마크에서 확인한 성능을 실제 고객 환경에서도 재현할 방침이다. 고객이 도입 전에 시스템 성능을 검증하는 공간으로도 활용한다.

망고부스트는 국제 AI 시스템 성능평가 'MLPerf'를 통해 추론 기술력을 검증하고 있다. MLPerf 인퍼런스 5.0에서 AMD 'MI300X' GPU 32개와 LLM부스트를 결합한 시스템은 엔비디아 'H100' GPU 32개 기반 비교 시스템보다 비용 대비 처리량이 2.8배 높은 것으로 나타났다.

망고부스트는 MLPerf 인퍼런스 6.0에서 기존 GPU와 최신 GPU를 활용해 장비 교체와 데이터 센터 증설 비용을 줄이는 방법론을 제시했다. (사진=망고부스트)

다만 해당 수치는 망고부스트가 적용한 GPU와 SW 가격을 기준으로 총비용을 산정한 결과다. 고객 장비 도입 가격과 전력·냉각 비용, 운영 조건에 따라 실제 경제성은 달라질 수 있다.

MLPerf 인퍼런스 6.0에서는 미국과 한국에 설치된 세 종류 AMD GPU 24개를 하나의 추론 시스템으로 연결했다. 해당 시스템은 '라마2-70B' 모델을 구동해 95.5%의 확장 효율을 기록했다.

망고부스트는 이를 통해 지역과 세대가 다른 GPU도 하나의 AI 추론 자원으로 활용할 수 있다고 설명했다. 기존 GPU와 최신 GPU를 같이 사용하면 장비 교체와 데이터센터 증설 부담을 줄일 수 있다는 주장이다.

망고부스트는 이런 HW·SW 통합 역량을 서버리스 AI 추론 서비스로 확장했다. 최근 미국 샌프란시스코에서 열린 'AMD 어드밴싱 AI 2026(AMD Advancing AI 2026)'에서 서버리스 AI 추론 플랫폼 '망고 인퍼런스(Mango Inference)'를 상용 출시했다.

망고 인퍼런스는 개발자가 GPU와 서버를 직접 구축·운영하지 않고 응용프로그램인터페이스(API)를 통해 AI 모델을 이용하도록 지원한다. 망고부스트의 GPU 서버와 DPU, LLM부스트를 서비스 형태로 제공하는 식이다.

망고부스트는 행사에서 AMD 최신 AI 가속기를 기반으로 엔비디아 차세대 칩 기반 시스템을 웃도는 추론 성능을 구현했다고 밝혔다. 엔비디아 GPU에 의존하지 않고도 AI 모델을 더 빠르고 경제적으로 운영할 수 있다는 것이 회사 측 설명이다.

당시 배경훈 부총리 겸 과학기술정보통신부 장관과 리사 수 AMD 최고경영자(CEO)도 행사장에 마련된 망고부스트 부스를 방문해 망고 인퍼런스를 살펴봤다. 망고부스트에 따르면 배 부총리와 리사 수 CEO는 서버리스 AI 추론 플랫폼의 필요성과 활용 가능성에 공감의 뜻을 나타냈다.

강남 데이터센터는 망고 인퍼런스의 성능과 안정성을 검증하고 실제 고객 요청을 처리하는 기반 시설로 활용된다. 제품 시험장과 고객 검증 공간을 넘어 AI 연산 자원을 서비스 형태로 공급하는 거점 역할까지 맡는 셈이다.

망고부스트는 완성형 서버랙을 판매하거나 고객 데이터센터에 동일한 시스템을 구축하는 방식으로 사업을 확대할 방침이다. DPU와 서버 공급에서 출발해 랙 단위 통합 인프라와 서버리스 AI 추론 서비스까지 사업 구조를 넓히고 있다.

망고부스트는 "우리 과제는 벤치마크에서 확인한 성능을 실제 고객 서비스에서도 재현하는 것"이라며 "응답속도와 안정성뿐 아니라 전력·냉각 효율, 유지보수와 장애 대응 능력까지 입증하겠다"고 강조했다.