자일링스와 VM웨어가 프로그래머블 반도체(FPGA) 기반 가속기로 가상 환경에서 머신러닝 추론 성능을 테스트한 결과, 베어메탈 환경과 큰 차이가 없는 것으로 나타나 주목된다.
최근 데이터센터에서 FPGA 기반 가속기 적용이 늘어나는 추세를 고려할 때 앞으로 클라우드 환경에서의 머신러닝을 위한 FPGA 가속기 도입은 더욱 확대될 것으로 기대된다.
1일 자일링스는 지난달 22일 VM웨어가 자일링스의 데이터센터 가속기 '알베오(Alveo) U250'을 통해 진행한 머신러닝 추론 테스트에서 가상 환경과 베어메탈 환경에서의 성능 격차는 2% 내로 나타났다고 밝혔다.
VM웨어는 자일링스의 통합 개발 플랫폼 '바이티스 AI'에서 제공되는 가상화 도구(도커 컨테이너)를 활용해 CNN, Inception_v1, Inception_v2, Resnet50, VGG16 등의 딥러닝 모델의 추론을 진행, DirectPath I/O 모드에서 알베오 U250 가속기 카드의 처리량과 지연시간 등을 측정했다.
자일링스는 "VM웨어의 v스피어 상에서 진행된 알베오 U250 가속기 머신러닝 추론 성능 테스트 결과, 처리량 및 지연시간에서의 성능 격차는 모두 2%를 넘지 않았다"며 "이는 가상 환경에서 머신러닝 추론에 대한 알베오 250의 성능이 베어메탈 환경 기준선과 거의 동일하다는 것을 의미한다"고 강조했다.
FPGA(Field Programmable Gate Array)는 1985년 자일링스가 처음 출시한 반도체 소자로, 회로 변경이 불가능한 일반 반도체와 달리 용도에 맞게 회로를 수정할 수 있는 게 특징이다.
자일링스는 지난해 데이터센터용 FPGA 가속기 플랫폼 알베오를 출시하고, 국내외 데이터센터 시장을 집중 공략해왔다. 자일링스가 강조하는 알베오 플랫폼의 강점은 중앙처리장치(CPU) 및 그래픽처리장치(GPU) 대비 빠른 처리속도와 높은 전력효율이다.
이는 GPU의 경우, 높은 처리량 달성을 위해 다수의 병렬 프로세싱 코어가 필요하지만, FPGA는 맞춤형 하드웨어 회로와 인터커넥션(상호연결) 등을 통해 원활한 작업이 가능한 덕분이다.
일례로 알베오 플랫폼의 딥러닝 추론 성능(음성번역 기준)은 데이터처리량의 경우, GPU 대비 10배, 데이터분석 성능은 CPU 대비 4배 뛰어난 것으로 알려졌다. 실제 이번 VM웨어의 테스트에서 알베오 U250 가속기는 DirectPath I/O 방식을 통해 베어메탈 환경과 비슷한 수준의 성능을 입증하기도 했다.
자일링스는 "FPGA는 각기 다른 프로세싱 및 기능 요건을 충족할 수 있도록 재프로그램이 가능한 것이 특징으로, 이러한 기능은 고가의 맞춤형 주문형반도체(ASIC)나 GPU와 비교해 차별화된 강점"이라며 "특히 FPGA는 다른 하드웨어 가속기 대비 에너지 효율이 높고, 지연시간이 적어 머신러닝 추론 작업에 최적화됐다. 이에 최근 클라우드 데이터센터 환경에서 FPGA 가속기 채택이 보다 활발해지고 있는 상황"이라고 전했다.
한편, 이번 테스트에는 2개의 인텔 10코어 제온 프로세서(제온 실버 4114 CPU)와 192기가바이트의 DDR4 D램을 적용한 델의 파워엣지 R740 서버가 사용됐다.
또 하이퍼바이저(가상 머신 구동 소프트웨어)는 VM웨어의 ESXi 7.0 버전을, 운영체제는 우분투 16.04(커널 4.4.0-116) 버전을, 이미지 데이터 세트는 이미지넷(ImageNet 2012)에서 파생된 이미지(50k)를 사용했다.
☞용어설명 : 베어메탈
베어메탈은 소프트웨어가 설치돼 있지 않은 하드웨어를 말한다. 사용자는 별도로 제작한 운영체제부터 다양한 소프트웨어를 선택해 사용할 수 있고, 이를 통해 기업은 업무 특성에 맞는 최적의 환경을 구축할 수 있다. 이에 베어메탈은 대량의 정보를 초고속으로 처리해야하는 컴퓨팅 파워가 필요한 곳에서 주로 이용된다.
관련기사
- "우주탐사 시대 개막, 자일링스 FPGA가 최적의 솔루션"2020.06.23
- 자일링스, 30% 비용절감 스트리밍 솔루션 공개2020.06.18
- VM웨어, GPU 할당 자동화하는 V스피어 발표2020.06.03
- 자일링스, 통합 소프트웨어 플랫폼 '바이티스' 출시2019.10.02
☞용어설명 : DirectPath I/O
DirectPath I/O는 가상 환경에서의 운영체제가 가속기의 PCI에 직접 접근할 수 있는 기술을 말한다. 이는 물리적 가속기 카드를 가상 컴퓨터에 곧바로 연결하는 만큼 가속기 본래의 성능을 끌어내는 이점을 제공한다.
