MS, 엔비디아 H100 GPU 서비스 정식 출시

마이크로소프트가 애저에서 제공하는 AI 인프라 서비스에 엔비디아 H100 텐서코어 GPU 기반 가상머신을 출시했다.

마이크로소프트는 최근 애저 AI 인프라에 엔비디아의 최신 하드웨어 기반 가상머신 '애저 ND H100 v5 VM'을 정식 출시한다고 발표했다.

'애저 ND H100 v5 VM'은 엔비디아 H100 텐서코어 GPU와 퀀텀2 인피니밴드 네트워킹으로 구성된다. 슈퍼컴퓨팅 성능과 확장성을 제공하는 광범위한 경험을 바탕으로 설계됐다고 마이크로소프트 측은 강조했다.

마이크로소프트 애저 데이터센터

마이크로소프트는 "생성 AI에 대한 심층적이고 지속적인 투자의 일환으로 AI에 최적화딘 4천 GPU 클러스터를 활용하고 있다"며 "내년 수십만개 최신 GPU로 확장할 예정"이라고 밝혔다.

애저 ND H100 v5는 현재 미국 동부, 중남부 지역에서 사용가능하다.

애저 ND H100 v5는 8개의 H100 텐서코어 GPU를 장착했다. GPU로 인텔 4세대 제온 스케일러블 프로세서를 채택했다. 로레이턴시 네트워킹은 GPU당 400 Gbps, VM 당 3.2 Tbps의 크로스노드 대역폭을 갖춘 엔비디아 퀀텀-2 커넥트X-7 인피미밴드로 구성됐다. 호스트와 GPU는 초당 64기가바이트(GB) 대역폭의 PCIe-5로 연결된다. DDR5 메모리를 채택해 데이터 전송속도와 효율성으로 더 큰 데이터세트의 워크로드를 처리할 수 있다.

새 VM은 이전 세대의 FP16에 비해 새로운 8비트 FP8 부동소수점 데이터 유형을 사용할 때 행렬 곱셈 작업에서 최대 6배 빠른 성능을 보인다고 회사측은 설명했다. BLOOM 1천750억 종단간 모델 추론 같은 대규모언어모델에서 최대 2배 빠른 속도를 달성했다.

마이크로소프트는 이와 함께 애저 오픈AI 서비스의 GPT-4와 GPT-3.5 터보 제공 지역을 확대했다. 호주 동부, 캐나다 동부, 미국 동부2, 일본 동부, 영국 남부가 추가됐다.

마이크로소프트에 따르면, 애저 오픈AI 서비스는 올해 상반기 고객 기반 3배 증가란 성과를 이뤘다. 지난 분기 매일 평균 100명의 신규 고객을 유치하고 있다고 한다.

마이크로소프트는 애저 오픈AI 서비스의 주요 사례를 소개했다.

메르세데스벤츠는 운전자를 위한 차량내 경험을 혁신하는데 이 서비스를 사용했다. 메르세데스벤츠의 대화형 AI 서비스인 '헤이 메르세데스'는 애저 오픈AI 서비스로 굳오되고 있다.

KPMG는 애저 오픈AI 서비스로 서비스 제공 모델을 개선하고, 지능형 자동화를 달성해 코딩 수명주기를 개선했다. 웨이브(Wayve)는 애저 머신러닝과 애저 AI 인프라를 사용해 자율주행을 위한 대규모 기본 신경망을 훈련중이다.