엔비디아, AI 추론 벤치마크 테스트 신기록 달성

엔비디아(CEO 젠슨 황)는 데이터센터와 네트워크 엣지(edge)에서 AI 추론 워크로드 성능을 측정하는 새로운 벤치마크 테스트에서 가장 빠른 속도를 달성했다고 7일 밝혔다.

이로써 엔비디아는 지난 7월 ‘MLPerf’ 벤치마크 테스트 AI 훈련 성능 부문에서 8개의 기록을 세운 것에 이어 새로운 기록을 추가했다.

업계 최초의 독립적인 AI 추론 벤치마크 테스트인 MLPerf 인퍼런스 0.5의 결과는 데이터센터용 엔비디아 튜링(Turing) GPU와 엣지 컴퓨팅용 엔비디아 젯슨 자비에(Jetson Xavier) 시스템온칩(SoC)의 성능을 보여준다.

엔비디아 EGX 플랫폼.

다양한 폼 팩터와 네 가지 추론 시나리오를 적용하는 MLPerf의 다섯 가지 추론 벤치마크는 이미지 분류, 객체 감지 및 변환과 같은 기존 AI 애플리케이션을 포함한다.

엔비디아는 서버 및 오프라인을 포함한 데이터센터 시나리오 상의 5개 벤치마크에서 모두 1위를 차지했으며, 튜링 GPU는 상용 프로세서 중 프로세서당 최고 성능을 달성했다.[1] 젯슨 자비에는 엣지 중심의 시나리오(단일 및 멀티 스트림)에서 상용화된 엣지 및 모바일 SoC 가운데 최고 성능을 기록했다.

엔비디아 이안 벅(Ian Buck) 가속 컴퓨팅 담당 부사장 겸 총괄은 “AI는 현재 연구 단계에서 실제 애플리케이션을 위해 대규모로 구축되는 단계로 접어들면서 전환점을 맞이하고 있다. AI 추론은 컴퓨팅의 중대한 과제이다. 엔비디아는 프로그래밍이 가능한 업계 최고 수준의 가속기, 쿠다-X(CUDA-X) AI 알고리즘 스위트, 그리고 AI 컴퓨팅에 대한 전문지식을 결합하여 데이터센터에 점점 복잡해지고 있는 AI 모델을 원활하게 구축할 수 있도록 돕고 있다”고 설명했다.

엔비디아는 다양한 AI 워크로드에 걸쳐 컴퓨팅 플랫폼의 프로그래밍 가능성과 성능을 입증하면서, 모든 다섯 가지 MLPerf 벤치마크에 결과를 제출한 유일한 기업이었다.

엔비디아 GPU는 알리바바 클라우드(Alibaba Cloud), 아마존웹서비스(AWS), 구글 클라우드 플랫폼, 마이크로소프트 애저(Azure) 및 텐센트(Tencent) 등을 포함한 세계 최대 클라우드 인프라에서 대규모 추론 워크로드를 가속화하는데 활용되고 있다. 또한, 월마트(Walmart), 프록터앤드갬블(Procter & Gamble)과 같은 세계 선도 기업들이 엔비디아의 EGX 엣지 컴퓨팅 플랫폼과 AI 추론 기능을 이용하여 최첨단 AI 워크로드를 실행하고 있다.

엔비디아의 모든 MLPerf 결과는 엔디비아 텐서RT 6(TensorRT 6)를 기반으로 달성됐다. 엔비디아 텐서RT 6는 고성능 딥러닝 추론 소프트웨어로 데이터센터부터 엣지에 이르는 프로덕션 환경에서 AI 애플리케이션을 쉽게 배포 및 최적화한다. 새로운 텐서RT 최적화는 깃허브(Github) 리포지토리에서 오픈소스로도 이용할 수 있다.