망고부스트 "에이전트 시대 DPU·SW 결합…'AI 인프라계 애플' 도약"

[인터뷰] 망고부스트 핵심 주역 3인방 "차세대 AI 인프라 정조준"

인공지능(AI) 기술이 단순 추론을 넘어 스스로 판단하고 복잡한 과업을 수행하는 'AI 에이전트' 시대로 진입하면서, 폭발하는 데이터센터(DC) 워크로드를 감당하기 위한 인프라 혁신이 화두로 떠올랐다.

이에 국내 AI 시스템 반도체 스타트업 망고부스트는 이기종 하드웨어를 유기적으로 연결하는 고성능 '데이터처리장치(DPU)' 설계 기술과 추론 최적화부터 다루는 풀스택 소프트웨어 솔루션을 융합해 글로벌 AI 인프라 시장의 판도를 바꾸겠다는 출사표를 던졌다.

회사는 특정 하드웨어 벤더에 종속되지 않는 개방형 생태계와 개발자 친화적인 환경을 무기로 'AI 데이터센터계의 애플'로 도약한다는 포부다.

망고부스트는 2022년 김장우 서울대 교수가 설립한 AI 시스템 반도체 딥테크 기업이다. DPU 설계 원천기술과 인프라 최적화 소프트웨어를 아우르는 '풀스택(Full-stack) 솔루션'을 앞세워 글로벌 시장을 공략하고 있다.

(왼쪽부터) 이원석 망고부스트 전략기획팀장, 한성철 HW개발 그룹장, 김창수 어드밴스드 AI 팀장.

"단일 서버 한계 직면…유기적 연결 가속하는 DPU 필수"

망고부스트는 단일 GPU 서버 중심의 데이터 처리 방식이 이미 물리적, 비용적 한계에 직면했다고 진단한다. 서로 다른 GPU 모델과 원격 저장공간(스토리지), CPU 등을 묶어 하나의 거대한 유기적 시스템으로 동작하게 만드는 과정에서 심각한 데이터 통신 병목이 발생하기 때문이다.

이원석 망고부스트 전략기획팀 팀장은 "추론만 하던 시대에서 본격적인 AI 에이전트 시대가 열리며 처리해야 할 워크로드 단위가 비약적으로 커졌다"며 "동일 기종의 GPU 서버만으로는 전체 성능을 감당할 수 없어 이기종 장치들을 필연적으로 연결해야 하는데, 이때 발생하는 네트워크 오버헤드를 전담 가속하는 DPU가 차세대 데이터센터의 핵심 인프라로 부상하고 있다"고 강조했다.

(왼쪽부터) 이원석 망고부스트 전략기획팀장, 한성철 HW개발 그룹장.

망고부스트의 DPU는 시장을 과점 중인 엔비디아의 '블루필드(BlueField)'와 대비되는 설계 철학을 지닌다. 이 팀장은 "엔비디아 DPU는 하드웨어 가속을 최소화하고 내부 CPU 중심으로 가동되는 반면, 망고부스트는 하드웨어 가속 비중을 극대화해 극한의 네트워크 성능 향상을 이끌어낸다"고 설명했다.

생태계의 확장성 측면에서도 궤를 달리한다. 이 팀장은 "엔비디아 DPU가 자사 GPU와 소프트웨어에 최적화된 폐쇄적 생태계에 갇혀 있다면, 우리는 특정 벤더에 종속되지 않는 '스위스' 같은 중립적 지위를 지향한다"며 "엔비디아와 AMD GPU는 물론 국내외 이기종 NPU, 다양한 네트워크 스위치 장비까지 완벽히 연결하는 개방형 솔루션을 제공한다"고 말했다.

"시장 적기 대응 위해 FPGA 주력…차세대 승부처는 ASIC"

현재 망고부스트는 개발에만 수년이 소요되는 주문형 반도체(ASIC) 대신 필드 프로그래머블 게이트 어레이(FPGA) 기반 DPU 제품 공급에 주력하고 있다. 변화 무쌍한 AI 네트워크 표준에 즉각적으로 대응하기 위해서다.

한성철 망고부스트 HW개발 그룹장은 "AI 데이터센터용 네트워크 요구사항이 쉼 없이 변하는 상황에서, 하드웨어 구조를 유연하게 바꿀 수 있는 FPGA 제품이 신규 프로토콜을 가장 신속하게 지원할 수 있는 무기"라고 말했다.

한성철 HW개발 그룹장은 비용 효율성에 대해서도 소신을 밝혔다.

비용 효율성에 대해서도 소신을 밝혔다. 한 그룹장은 "초기 매몰 비용 감안하면 대량 양산 전 적정 수량 단계에서는 FPGA가 훨씬 경제적이며, 전체 GPU 랙(Rack) 시스템 관점에서는 총소유비용(TCO) 절감 효과가 압도적"이라면서도 "데이터 전송량과 전력 효율 니즈가 극대화되는 시점에 맞춰 ASIC으로 승부하기 위해 철저하게 준비 단계를 거치고 있다"고 말했다. 실제로 보수적인 기준에서도 망고부스트의 솔루션은 동급 시스템 대비 약 30%의 TCO 절감 효과를 내는 것으로 파악됐다.

이러한 기술력은 대규모 투자와 글로벌 파트너십 확대로 이어지고 있다. 최근 AMD의 리사 수 최고경영자(CEO)가 직접 방문해 긴밀한 파트너십을 논의했으며, 해외 대형 하이퍼스케일러들과의 공동 솔루션 구축도 활발히 진행 중이다. 국내에서는 주요 K-클라우드 국책 사업 참여와 더불어 국산 NPU 기업들과의 시스템 연동을 강화하고 있다. 

현재 누적 투자 유치액 1억 달러(약 1300억원)를 넘긴 상태로, 시리즈 B 펀딩 마무리도 눈앞에 뒀다. 미국 법인을 거점으로 글로벌 인재 확보에도 사활을 걸고 있다.

한 그룹장은 "단순히 DPU 반도체 부품이나 단품 소프트웨어를 파는 회사에 머물지 않겠다"며 "특정 하드웨어에 얽매이지 않고 모든 에코시스템을 유기적으로 엮어 최고 가성비의 시스템 최적화를 이끌어내는 리더, 즉 'AI 데이터센터계의 애플'로 도약할 것"이라고 포부를 밝혔다.

'망고 LLM 부스트'로 추론 최적화…SDK로 DPU 문턱 낮춰

망고부스트는 AI 추론 소프트웨어 '망고 LLM 부스트'와 소프트웨어 개발 키트(SDK)를 앞세워 AI 인프라 영역을 넓히고 있다. DPU를 넘어 추론 최적화와 데이터 이동, AI 에이전트 라우팅까지 아우르는 SW 스택을 구축에 한창이다.

김창수 망고부스트 어드밴스드 AI 팀장은 망고 LLM 부스트가 가상거대언어모델(vLLM) 같은 일반 LLM 추론 프레임워크보다 넓은 범위를 다룬다고 강조했다. 기존 프레임워크가 GPU에서 LLM을 구동하는 데만 초점 맞춘다면, 망고 LLM 부스트는 여러 추론 작업을 관리하고 사용자 요청을 적절한 GPU로 보내는 기능까지 지원한다는 설명이다.

한성철 망고부스트 어드밴스드 AI 팀장은 망고 LLM 부스트 역할이 더 커질 것으로 내다봤다.

김 팀장은 AI 에이전트 시대에 망고 LLM 부스트 역할이 더 커질 것으로 봤다. 에이전트가 긴 대화와 복잡한 작업을 수행할수록 LLM이 앞서 계산한 내용을 임시 저장하는 'KV 캐시'도 덩달아 늘어나서다.

그는 "망고 LLM 부스트는 방대한 KV 캐시를 저장하고 재사용하거나, 필요한 GPU로 옮기는 과정을 관리한다"며 "한번 계산한 내용을 재활용하면 같은 연산을 반복하지 않아도 돼 추론 속도를 높일 수 있다"고 설명했다.

이어 "KV 캐시가 커져 GPU에 모두 보관하기 어려워지면 스토리지나 다른 GPU로 데이터를 옮겨야 한다"며 "이때 LLM 부스트가 캐시 저장 활용을 돕고, DPU가 실제 데이터 이동을 지원하는 양방향 구조로 작동한다"고 덧붙였다.

망고부스트 데이터센터.(사진=망고부스트)

망고부스트는 SDK를 통해 DPU 사용 문턱도 낮추고 있다. 개발자가 DPU 구조나 복잡한 저수준 프로그래밍을 직접 익히지 않아도 주요 기능을 쓸 수 있도록 지원하는 방식이다.

김 팀장은 "DPU를 직접 프로그래밍하려면 새로운 개발 환경을 익혀야 해 부담이 크다"며 "개발자가 필요한 기능만 쉽게 가져다 쓸 수 있도록 만드는 것이 SDK 목표"라고 설명했다.

망고인퍼런스는 추론 환경에서 데이터 병목을 해결하는 DPU 부스트X(BoostX) 기술과 에이전트 운영체제(OS)를 효율화하는 'LLM 부스트'를 결합한 형태다. 개발자가 익숙한 API 형태로 AI 인프라 기능을 손쉽게 활용할 수 있도록 지원한다. 개발자와 스타트업 등은 HW 를 직접 제어하거나 복잡한 구현을 수행할 필요 없이 API 호출만으로 필요한 기능을 간편하게 활용할 수 있다. 망고인퍼런스는 올해 하반기 출시될 예정이다.