AMD, 인스팅트 MI350P PCIe GPU 출시

HBM3E 144GB 내장, 기존 서버 확장 용도 최적화

AMD가 8일 기업용 AI 추론 시장을 겨냥한 GPU 가속기 '인스팅트 MI350P PCIe'를 출시했다.

인스팅트 MI350P PCIe는 4세대 CDNA 아키텍처 기반 MI350 GPU를 활용한 제품으로 PCI 익스프레스 5.0 규격을 지원하는 서버와 워크스테이션용으로 설계됐다.

듀얼 슬롯 디자인으로 한 노드 당 최대 8개 GPU를 설치할 수 있고 기존 데이터센터를 유지하며 생성 AI와 에이전틱 AI 연산 역량을 강화할 수 있다.

인스팅트 MI350P PCIe. (사진=AMD)

HBM3E 메모리 144GB로 최대 4TB/s 메모리 대역폭을 갖춰 거대언어모델(LLM)과 증강검색(RAG) 워크로드 처리에 최적화됐다. 한 GPU에 최대 2500억개 매개변수 LLM을 로드해 실행할 수 있다.

지원하는 자료형은 FP8, MXFP8, MXFP6, MXFP4 등 저정밀도 등을 지원해 추론 속도를 노였고 INT8·BF16에서는 희소성(sparsity) 가속을 통해 전력 효율과 처리량을 개선한다. 연산 성능은 MXFP4 기준 최대 4.6PFLOPS, MXFP8 기준 2.3PFLOPS다.

델테크놀로지스, HPE, 레노버, 시스코, 레드햇 등 주요 서버 제조사·소프트웨어 공급사가 지원 예정이다.