AMD가 찜한 망고부스트…'AI 팩토리' 앞세워 추론 시장 승부수

자체 네트워크·SW로 추론 성능 최적화…1MW 인프라 구축·소버린 AI 확대 추진

인공지능(AI) 인프라 기업 망고부스트가 AMD와의 협력을 바탕으로 자체 AI 데이터센터와 추론 서비스를 결합한 'AI 팩토리' 사업에 본격적으로 나선다. 서울 강남에 1메가와트(MW) 규모 AI 인프라를 구축하고 신규 추론 플랫폼을 출시해 기업 고객을 직접 공략한다는 전략이다.

장기적으로는 해외 인프라 의존도를 낮추고 국내에서 AI 데이터를 처리하는 소버린 AI 시장까지 사업을 확대할 계획이다.

김장우 망고부스트 대표는 12일 그랜드 인터컨티넨탈 서울 파르나스에서 개최한 신규 서비스 론칭 기자간담회에서 "우리는 단순히 부품을 공급하는 회사가 아니라 하드웨어부터 소프트웨어까지 직접 설계하고 고객에게 AI 서비스를 제공하는 회사"라며 "AMD와의 협력을 바탕으로 가격 경쟁력을 갖춘 AI 팩토리를 구축하겠다"고 밝혔다.

망고부스트는 2022년 서울대학교 연구진을 중심으로 설립된 AI 인프라 기업이다. 데이터처리장치(DPU)를 비롯한 네트워크 기술과 그래픽처리장치(GPU) 서버, 스토리지, AI 추론 소프트웨어를 자체 개발하고 있다. 기존에는 서버 제조사와 클라우드 기업 등에 인프라 기술을 공급하는 데 주력했지만 앞으로는 자체 시스템을 기반으로 기업 고객에게 AI 서비스를 직접 제공하는 사업을 확대한다는 방침이다.

김장우 망고부스트 대표 (사진=지디넷코리아)

AMD 손잡고 AI 팩토리 구축…강남에 1MW 인프라

망고부스트가 내세운 핵심 전략은 AMD의 GPU와 자체 개발한 네트워크·스토리지 기술을 결합하는 것이다. 회사는 약 3년 전부터 AMD와 협력해 왔으며 AMD 인스팅트 GPU 기반 시스템의 성능을 높이는 소프트웨어와 네트워크 기술을 개발했다. 이를 통해 엔비디아 중심의 기존 AI 인프라와 차별화된 가격 경쟁력을 확보한다는 구상이다.

김 대표는 "AMD GPU는 가격 경쟁력이 있지만 이를 제대로 활용하기 위한 네트워크와 소프트웨어 기술이 중요하다"며 "우리는 이 성능을 끌어올리는 기술을 확보했고 AMD와의 협력을 통해 필요한 GPU와 메모리를 안정적으로 공급받을 수 있는 기반도 마련했다"고 설명했다.

실제 망고부스트는 AI 추론 성능 평가인 'MLPerf 인퍼런스 5.0'에서 AMD 인스팅트 GPU 다중 노드를 활용한 파트너 제출에 참여했다. 이어 '인퍼런스X 6.0'에선 한국과 미국에 위치한 AMD MI300X·MI325X·MI355X 등 서로 다른 세대의 GPU를 통합한 멀티 리전 추론 성능을 선보였다.

회사는 자체 소프트웨어 최적화만으로도 AMD GPU의 추론 성능을 크게 높였으며 향후 자체 하드웨어까지 적용하면 비용 효율성이 더욱 개선될 것으로 보고 있다.

이를 위한 첫 번째 거점으로 서울 강남구 도산공원 인근에 1MW 규모의 AI 팩토리를 구축 중이다. 기존 데이터센터의 공간과 설비를 이용하는 코로케이션 방식으로 인프라를 마련하고 있으며 AMD GPU 수백 장을 단계적으로 도입하고 있다. 현재 일부 인프라를 활용한 서비스가 시작됐으며 전체 구축은 내년 1분기까지 마무리할 계획이다.

망고부스트는 초기에는 외부 네오클라우드 사업자의 GPU와 자체 인프라를 함께 활용하고 이후 자체 AI 팩토리의 비중을 확대할 방침이다. 장기적으로는 1MW를 시작으로 5MW, 100MW 이상으로 인프라 규모를 확장하는 구상도 제시했다. 단순히 GPU 자원을 임대하는 네오클라우드와 달리 자체 설계한 시스템과 소프트웨어를 통합해 AI 추론 서비스를 제공하는 것이 사업 모델의 핵심이다.

김장우 망고부스트 대표가 구상한 1MW 규모 AI 데이터센터 인프라를 소개하고 있다. (사진=지디넷코리아)

'망고 인퍼런스' 출시…AI 추론 서비스 직접 공급

이날 망고부스트는 신규 서버리스 AI 추론 플랫폼 '망고 인퍼런스'도 공식 출시했다. 기업과 개발자가 별도의 GPU 인프라를 구축하지 않고도 애플리케이션 프로그래밍 인터페이스(API) 키 하나로 AI 모델을 이용할 수 있는 서비스다. 추론 사용량과 처리 지연, 토큰 소비량, 트래픽 등을 확인할 수 있는 관리 기능도 제공한다.

서비스 경쟁력의 중심에는 자체 개발한 AI 추론 최적화 소프트웨어 'LLM부스트'가 있다. 일반적인 추론 소프트웨어가 GPU 연산 최적화에 집중하는 것과 달리 망고부스트는 스토리지에서 GPU로 데이터가 이동하는 과정까지 최적화한다. 이를 통해 데이터 전송 과정의 병목을 줄이고 GPU 활용률과 추론 처리 효율을 높인다는 설명이다.

권동업 망고부스트 최고기술책임자(CTO)는 "우리는 GPU 서버와 스토리지 서버, 네트워크 기술부터 추론 소프트웨어까지 직접 개발하고 있다"며 "실제 고객의 AI 사용 패턴을 파악해 인프라를 지속적으로 최적화할 수 있다는 점이 차별화된 경쟁력"이라고 말했다.

이어 "AMD GPU 기반의 추론 서비스를 경쟁력 있는 가격으로 제공 중"이라며 "주요 고성능 추론 서비스 사업자와 비교해 최소 20% 이상 저렴하게 가격을 책정했다"고 덧붙였다.

현재는 사용량에 따라 비용을 지불하는 방식으로 서비스를 제공하며 향후 기업 고객을 위한 전용 추론 환경도 지원할 예정이다.

권동업 망고부스트 CTO(왼쪽), 김장우 대표 (사진=지디넷코리아)

국내 데이터 처리로 소버린 AI 공략…기업용 인프라도 확대

망고부스트는 AI 팩토리 사업의 또 다른 축으로 데이터 주권 확보를 제시했다. 기업들이 외부 AI 모델을 활용하는 과정에서 데이터가 해외 서버에서 처리되는 문제를 줄이고 국내 인프라에서 AI 추론을 수행할 수 있는 환경을 마련하겠다는 목표다. 특히 오픈웨이트 AI 모델을 국내 데이터센터에서 직접 운영하는 방식으로 해외 서비스 사업자에 대한 의존도를 낮출 계획이다.

권 CTO는 "소버린 AI에서 중요한 것은 단순히 모델을 확보하는 것이 아니라 실제 데이터가 어디에서 처리되고 관리되는지"라며 "한국에서 활용되는 AI 데이터는 국내에서 처리하고 관리할 수 있어야 하며 이를 위해 국내 AI 팩토리 구축이 중요하다"고 강조했다.

망고부스트는 앞으로 망고 인퍼런스를 통한 API 서비스뿐 아니라 기업과 공공기관이 자체 환경에서 AI를 운영할 수 있도록 데이터센터 설계와 통합 인프라 공급 사업도 확대할 방침이다. 금융·국방 등 데이터 통제가 중요한 분야에선 자체 네트워크와 스토리지 기술을 활용한 온프레미스 AI 시스템을 제공한다는 구상이다.

김 대표는 "앞으로 AI 시장에서는 모델을 얼마나 잘 만드는지만큼 이를 얼마나 빠르고 저렴하게 서비스할 수 있는지가 중요해질 것"이라며 "AMD와의 협력과 독자적인 하드웨어·소프트웨어 기술을 바탕으로 AI 팩토리 시장에서 경쟁력을 확보하겠다"고 밝혔다.