인텔·AMD "x86 CPU 파이토치 최적화 협력"

AMD '젠DNN' 최적화 기술, '원DNN'으로 통합... 파편화 해소 추진

x86 기반 서버용 프로세서를 공급하는 인텔과 AMD가 20일(현지시간) 파이썬 기반 오픈소스 딥러닝 라이브러리 '파이토치(PyTorch)' 최적화를 위해 협력한다고 밝혔다.

x86 AI 생태계의 파편화를 줄이고 파이토치 응용프로그램을 개발·배포하는 과정을 단순화해 x86 CPU의 AI 소프트웨어 경쟁력을 높이기 위한 의도다.

파이토치는 메타(구 페이스북) AI 연구소가 2016년에 개발해 공개한 오픈소스 머신러닝 라이브러리다.

인텔과 AMD가 x86 기반 프로세서의 AI 처리 기능 통합을 위해 협력하기로 했다. (사진=AMD)

파이썬 패키지 저장소인 'PyPI'에서 지난 8월 다운로드된 파이토치 패키지 'torch' 다운로드 수는 약 8천620만 건으로 텐서플로(1천670만 건) 대비 5배 이상 많다.

인텔·AMD "x86 AI 소프트웨어 파편화 해소"

인텔과 AMD는 그간 파이토치 처리 가속을 위해 각자 공급하는 서버용 프로세서에 맞춘 라이브러리를 따로 제공했다.

인텔은 제온 등 서버용 CPU의 AI 처리 가속에서 원API 기반 '원DNN(oneDNN)'을 활용했다. 원DNN은 행렬 곱셈과 합성곱 등 딥러닝에 자주 쓰이는 연산을 CPU에 맞게 최적화한다. 인텔이 개발을 시작한 오픈소스 라이브러리로 현재는 UXL 재단에서 관리한다.

원DNN 라이브러리 개요. (자료=인텔)

AMD가 개발하는 '젠DNN(ZenDNN)'은 원DNN을 기반으로 AMD 에픽 프로세서의 젠(Zen) 아키텍처에 특화된 최적화 기능을 추가한 파생형이다.

양사는 x86 생태계 자문 그룹 권고에 따라 파이토치의 x86 CPU 가속을 위한 기본 오픈소스 라이브러리로 원DNN을 채택하기로 했다. 또 AMD는 젠DNN의 최적화 기능을 원DNN으로 통합할 예정이다.

AMD는 젠DNN의 최적화 기능을 원DNN으로 통합할 예정이다. (사진=AMD)

인텔과 AMD가 원DNN으로 일원화된 라이브러리를 제공하면 개발자는 프로세서 제조사별 최적화 경로를 별도로 관리해야 하는 부담을 줄일 수 있다. 또 제조사별로 별도 라이브러리를 유지하는 데 필요한 중복 개발 부담도 줄어들 전망이다.

AMD, 'UXL 재단'에 운영 회원사로 신규 가입

AMD는 이날 리눅스 재단 산하 비영리 업계 단체인 통합가속(Unified Acceleration, UXL) 재단에 각종 정책을 결정하는 운영 회원사로 신규 가입하겠다는 의사도 밝혔다.

UXL 재단은 2023년 9월 설립된 개방형 기술 협력 단체로, 특정 하드웨어 제조사에 종속되지 않는 개방형 가속 컴퓨팅 생태계 구축을 목표로 한다.

인텔은 2023년 9월 리눅스 재단 산하 비영리 단체인 통합가속재단에 참여 의사를 밝힌 바 있다. (사진=지디넷코리아)

AMD 가입 이전 회원사는 총 44개이며, 이 중 핵심이 되는 운영 회원사에는 Arm, 후지쯔, 구글 클라우드, 이매지네이션, 인텔, 퀄컴, 삼성전자가 참여하고 있다.

인텔은 2023년 9월 '인텔 이노베이션' 행사에서 UXL 재단 참여 의사를 밝히고 CPU와 GPU, FPGA(프로그래머블 반도체) 등 다양한 처리장치의 역량을 모두 활용하는 소프트웨어 개발을 위한 API인 '원API' 사양을 제공하기도 했다.

AMD의 참여로 UXL 재단 회원사는 총 45개, 이 중 운영 회원사는 8개로 늘어났다.

■ x86 생태계 자문 그룹 결성... x86 공동 표준화

양사는 2024년 10월 델테크놀로지스, 메타, 레노버, 구글, 마이크로소프트, 오라클, 레드햇, HP 등 PC·서버·소프트웨어 업체가 참여한 'x86 생태계 자문 그룹'을 결성한 이후 호환성 유지와 확장성 강화를 위해 협력하고 있다.

인텔과 AMD는 2024년 10월 공동으로 x86 생태계 자문 그룹을 구성했다. (사진=인텔)

양사는 x86 생태계 자문 그룹을 통해 AI 연산을 CPU 차원에서 처리하기 위한 새로운 명령어 집합 확장인 'AI 연산 확장(ACE)'을 정의한 바 있다. AI 연산에 자주 쓰이는 2차원 행렬 연산을 x86 CPU에서도 효율적으로 처리할 수 있도록 표준화했다.

또 지난 5월에는 CPU 안에서 일반적인 연산 결과를 저장하는 '범용 레지스터(GPR)'를 현행 16개에서 최대 32개로 늘리는 새 체계인 '고급성능확장(APX)'에 대한 상세 내용을 공개하기도 했다.

인텔과 AMD가 공동 정의한 APX가 다이아몬드 래피즈에 적용된다. (자료=인텔)

양사는 원DNN 업데이트를 통해 파이토치에서도 ACE의 가속 기능을 활용할 수 있도록 지원할 계획이다.

AMD, 인텔 주도 x86 AI 생태계에 합류

양사는 "이번 협력을 통해 개발자들이 프로세서 제조사의 제약 없이 AI 워크로드를 최적화할 수 있는 공통 소프트웨어 경로를 활용하고, 소프트웨어 파편화를 줄이며 현재와 미래의 x86 AI 기능 지원을 가속화하게 됐다"고 설명했다.

스티븐 와트 레드햇 최고기술책임자실 부사장 겸 파이토치 앰배서더는 "AMD와 인텔이 협력해 x86 CPU 최적화 표준화에 나서는 것은 생태계 파편화를 해소하기 위한 중요한 진전으로 레드햇은 이러한 수준의 개방형 협업을 매우 뜻깊게 생각한다"고 밝혔다.

AMD 서버용 5세대 에픽 8005 프로세서. (사진=AMD)

이번 협력으로 AMD는 별도로 개발·유지해 온 최적화 기능을 원DNN에 통합하고, 파이토치의 공통 x86 CPU 가속 경로를 활용하게 된다. 이는 AMD가 인텔 주도로 개발된 소프트웨어를 x86 AI 가속의 공통 기반으로 받아들였다는 의미도 있다.

다만 AMD가 x86 AI 가속 기술의 개발 주도권을 포기한 것도 아니다. AMD는 원DNN을 관리하는 UXL 재단의 운영 회원사로 참여해 향후 기술 개발 방향과 재단 운영에도 관여할 예정이다.