AMD, 오라클 클라우드에 MI300X 가속기 공급

OCI, 오늘부터 MI300X 8개 클러스터 인스턴스 고객사에 제공

AMD는 27일 오라클 클라우드 인프라스트럭처(OCI)에 인스팅트 MI300X AI 가속기와 오픈소스 프레임워크 ROCm을 공급했다고 밝혔다.

OCI는 더 큰 배치 사이즈(Batch Size)에서 지연 시간을 최소화하며 여러 이용 사례를 지원할 수 있는 AI 추론 및 트레이닝 능력, 싱글 노드에서 최대 규모의 LLM 모델에 적합한 성능을 제공하는 것에 초점을 맞추고 있다.

AMD 인스팅트 MI300X GPU. (사진=AMD)

OCI는 MI300X와 ROCm을 활용하는 슈퍼클러스터 인스턴스인 BM.GPU.MI300X.8을 오늘(27일)부터 고객사에 제공 예정이다.

56코어 탑재 인텔 4세대 제온 스케일러블 프로세서(사파이어래피즈) 두 개와 MI300X 가속기를 최대 8개 묶어 DDR5 시스템 메모리 2TB, 1.5TB HBM3 메모리와 30.72TB SSD를 활용할 수 있다.

앤드류 디크만 AMD 데이터 센터 GPU 비즈니스 기업 부사장 겸 총괄 매니저는 "AMD 인스팅트 MI300X 및 ROCm 오픈 소프트웨어는 OCI AI 워크로드와 같이 중요도가 높은 분야를 지원하며, 이를 통해 신뢰할 수 있는 솔루션으로서 성장을 이어가고 있다"고 밝혔다.

도널드 루 오라클 클라우드 인프라스트럭처 소프트웨어 개발 부문 수석 부사장은 "AMD 인스팅트 MI300X 가속기의 추론 기능은 OCI의 광범위한 고성능 베어 메탈 인스턴스에 추가되어 AI 인프라에 일반적으로 사용되는 가상화 컴퓨팅의 오버헤드를 제거한다"고 밝혔다.

파이어워크 AI는 생성형 AI를 구축하고 배포할 수 있도록 설계된 빠른 속도의 플랫폼을 제공한다. 100개 이상의 모델을 보유한 파이어워크 AI는 AMD 인스팅트 MI300X이 탑재된 OCI의 성능과 이점을 활용하고 있다.

린 퀴아오 파이어워크 AI CEO는 "AMD 인스팅트 MI300X 및 ROCm 오픈 소프트웨어에서 사용 가능한 메모리 용량은 고객들이 보유한 모델을 지속적으로 성장시키고, 이를 통해 서비스 확장해 나갈 수 있도록 지원한다"고 밝혔다.