"AI 인프라 대안 나올까"…망고부스트, 엔비디아 넘은 추론 성과 공개

망고부스트가 업계 표준 성능 테스트에서 인공지능(AI) 추론(inference) 분야의 신기록을 세우며 거대언어모델(LLM) 시대에 대응할 수 있는 새로운 기술적 대안을 제시했다. AI 데이터센터의 성능, 비용 효율성, 개방형 아키텍처를 두루 갖춘 조합으로 가능성을 입증하며 시장의 주목을 받고 있다.

망고부스트는 지난 2일 미국 워싱턴주 벨뷰에서 실시된 ML퍼프 인퍼런스(MLPerf Inference) v5.0 테스트에서 자사의 AI 추론 소프트웨어 '망고 LLM부스트'와 AMD 'MI300X' 그래픽처리장치(GPU) 조합으로 라마2-70B(Llama2-70B) 모델 오프라인 추론 부문에서 가장 높은 성능을 기록했다고 5일 밝혔다.

이번 테스트는 총 32개의 'MI300X' GPU를 4개 서버 노드에 분산한 다중 노드 구성에서 이뤄졌으며 'MI300X' 기반 시스템의 첫 ML퍼프 멀티노드 제출 사례로도 주목된다.

망고부스트가 업계 표준 성능 테스트에서 인공지능(AI) 추론(inference) 분야의 신기록을 세우며 거대언어모델(LLM) 시대에 대응할 수 있는 새로운 기술적 대안을 제시했다. (사진=망고부스트)

망고부스트는 '라마2-70B' 오프라인 추론 시나리오에서 초당 10만3천182 토큰(TPS)을 처리해 이전 최고였던 8만2천749 TPS 기록을 넘어섰다. 서버 시나리오에서도 9만3천39 TPS를 기록해 엔비디아 'H100' 기반 시스템 성능을 뛰어넘는 성과를 입증했다.

비용 구조 개선 효과도 눈에 띈다. 'MI300X' GPU는 H100 대비 최대 62% 저렴한 가격에 공급되며 '망고 LLM부스트'와의 조합으로 동일 GPU 수 기준 2.8배 더 높은 가격 대비 성능을 기록했다. 일각에서는 이를 고성능 AI 인프라의 비용 구조를 재편할 수 있는 가능성으로 보고 있다.

이 같은 성과는 AMD와의 긴밀한 협업을 통해 라데온 오픈 컴퓨트(ROCm) 소프트웨어 스택을 최적화한 결과다. 망고부스트는 'MI300X'의 성능을 극대화하는 동시에 단일 노드부터 멀티 노드 클러스터까지 유연하게 확장 가능한 AI 추론 솔루션을 구현했다.

클라우드 환경에서도 경쟁 우위가 확인됐다. 망고부스트는 AWS의 'A100' 기반 환경에서 오픈소스 프레임워크 '오라마(Ollama)' 대비 최대 138배 빠른 AI 추론 성능을 보였으며 허깅페이스의 '텍스트 생성 추론(TGI)'와 vLLM을 포함한 주요 프레임워크와 비교해 성능 및 비용 측면에서 모두 우위를 입증했다.

특히 라마3.1-70B, 큐원-32B, 딥시크-R1-디스틸 등 최신 LLM 모델을 대상으로도 성능 저하 없이 일관된 결과를 유지했다. 이는 다양한 워크로드에 대응 가능한 범용 추론 솔루션으로서의 강점을 보여준다.

주니퍼네트웍스의 엔비디아 'H100' GPU 기반 가격 대비 효율성 대비 망고부스트의 가격 대비 효율성 (사진=망고부스트)

'망고LLM부스트'는 50개 이상의 오픈 거대언어모델(LLM)을 지원하며 도커 기반의 원라인(one-line) 배포 방식, 오픈AI 애플리케이션 프로그램 인터페이스(API) 호환성 등을 제공해 기존 시스템을 유지하면서도 손쉽게 도입 가능하다. 아마존웹서비스(AWS), 애저(Azure), 구글클라우드플랫폼(GCP) 등 주요 퍼블릭 클라우드뿐 아니라 보안 요구가 높은 온프레미스 환경에서도 통합 운용이 용이하다.

기술적 차별성은 자체 개발한 하드웨어 IP에 기반한다. 이 회사의 데이터처리장치(DPU)는 GPU, 스토리지, 네트워크 가속기 간 데이터 흐름을 최적화해 AI 인프라의 성능과 비용 효율을 동시에 높이는 역할을 한다. 관련 기술은 30건 이상의 특허로 보호받고 있으며 국제 컴퓨터 아키텍처 학술대회(ISCA) 등에서 발표된 10여 년간의 연구 성과를 바탕으로 개발됐다.