AMD가 6일 오전(미국 서부시간) 데이터센터와 서버의 AI 연산을 가속하는 인스팅트 MI300X GPU를 정식 출시했다.
인스팅트 MI300X는 CDNA3 아키텍처 기반 GPU와 192GB HBM3, 칩렛당 초당 최대 896GB를 전송 가능한 인피니티 패브릭으로 구성됐다. TSMC 5나노급(N5) 공정에서 생산된 칩렛 12개를 결합했으며 트랜지스터 수는 1천300억 개다.
이날 리사 수 AMD CEO는 "MI300X는 현재까지 공개된 다양한 AI 연산 엔진과 데이터 타입을 지원하며 CDNA3 아키텍처 적용으로 FP16, BF16 성능을 향상시켰다. 지금까지 만든 칩 중 가장 선진적인 칩"이라고 설명했다.
이어 "생성 AI 처리에 메모리 용량과 대역폭은 중요하며 경쟁 제품인 엔비디아 H100 대비 메모리 용량은 2.4배, 대역폭은 1.6배 늘렸다"고 덧붙였다.
AMD 자체 벤치마크에 따르면 GPU 8개를 탑재한 단일 서버 기준으로 메타 라마2(Llama 2), 블룸 등 모델에서 MI300X은 엔비디아 H100 대비 1.6배 높은 성능을 낸다.
인스팅트 MI300X 탑재 시스템은 개방형 데이터센터 하드웨어 기술인 오픈컴퓨트프로젝트(OCP)를 지원하며 다른 GPU 어플라이언스에서 쉽게 대체 가능하다.
리사 수 CEO는 "인스팅트 MI300X는 메모리 용량과 대역폭 향상을 통해 FP16 데이터 타입 기준으로 두 배 더 많은 거대언어모델을 실행할 수 있고 같은 서버에서 더 큰 모델을 실행할 수 있어 전력과 투자 비용, 운영 비용을 최적화할 수 있다"고 설명했다.
AMD는 오라클 클라우드, 마이크로소프트 애저, 메타 등 주요 데이터센터에 인스팅트 MI300X GPU를 공급할 예정이다.
마이크로소프트는 지난 11월 연례 개발자 행사 '이그나이트'를 통해 인스팅트 MI300X 8개를 탑재한 서버에서 실행되는 애저 ND MI300x 가상머신 인스턴스를 제공할 것이라고 밝힌 바 있다.
델테크놀로지스, HPe, 기가바이트 등 주요 서버 제조사도 내년부터 MI300X 기반 서버 제품군을 공급할 예정이다.
단 인스팅트 MI300X GPU는 엔비디아 H100과 비슷한 수준의 연산 성능을 갖춰 바이두, 텐센트 등 중국 내 클라우드 업체 공급이나 중국 시장에 공급되는 중소형 서버에 탑재가 불가능하다.
관련기사
- 중국 GPU 수출 규제, 엔비디아 이어 AMD GPU로 확대2023.11.24
- 델테크놀로지스, AMD 96코어 '프리시전 7875 타워' 공개2023.11.17
- AMD 에픽 기반 '프론티어', 슈퍼컴 연산성능 1위 수성2023.11.14
- "진흥 없고 규제만 가득" 업계 한숨…게임 D-학점2024.05.17
엔비디아 H100을 8개 탑재한 HGX의 양방향 대역폭은 초당 900GB, 연산 성능은 FP16/BF16 기준 7.9페타플롭스(PFlops)다. MI300X를 8개 탑재한 플랫폼의 양방향 대역폭은 초당 896GB로 비슷한 수준이지만 연산 성능은 10.4페타플롭스로 엔비디아 대비 더 높다.
델테크놀로지스는 이미 지난 달 말 중국과 홍콩, 러시아, 북한을 포함한 23개 국가와 지역에 인스팅트 MI300/300X는 물론 2021년 8월 출시된 전세대 제품인 MI250 등 판매를 중단하라는 권고문을 배포한 바 있다.
