ML 라이브러리 ‘파이토치 2.0’ 공개…최대 2배 속도 향상

오픈소스 기계학습(ML) 라이브러리 파이토치의 정식 버전업이 4년 만에 공개됐다.

파이토치 재단은 최근 열린 컨퍼런스에서 기계 학습 프레임워크 파이토치 2.0을 소개했다. 파이토치 2.0은 정식 버전에 앞서 선보이는 야간 빌드 버전으로 매일 버그나 문제점을 수정하기 위한 업데이트가 진행된다. 

정식판은 내년 3월 초 출시 예정이다.

4년 만에 공개된 파이토치 2.0(이미지=파이토치재단)

2018년 출시 후 4년 만에 공개된 파이토치 2.0의 특징은 고속 컴파일러다. 파이토치 2.0은 이전 버전과 모두 호환되며, 한 줄 정도의 소스코드만 추가하면 속도가 1.3~2배 정도 향상된다.

파이토치 재단은 새로운 컴파일러의 성능을 확인하기 위해 오픈 소스에서 공개한 학습 모델 163건을 사용해 벤치마크 테스트를 수행했다.

수행결과 NVIDIA A100 GPU은 43% 향상됐으며 Float32 정밀도에서는 평균 21% 증가하고 AMP 정밀도에서는 실행 속도가 평균 51% 증가했다.

이와 함께 파이토치 2.0은 토치다이나모, 토치인덕터, AOT 오토그라드, 프림토치 등 새로운 컴파일러 기술을 지원한다.

토치다이나모는 파이썬 바이트코드에서 빠르고 안정적으로 FX그래프를 생성할 수 있다. 토치 인덕터는 파이썬 기반 오픈소스 프로그래밍 언어 '트리톤' 등 여러 GPU 가속기 및 백엔드를 지원하기 위한 딥러닝 컴파일러다.

AOT 오토그라드는 학습 추론 방향을 추적하기 위한 역방향 그래프를 작성하며, 프림토치는 백엔드 작성 프로세스를 단순화하기 위한 연산자 세트를 지원한다.