파이토치 2.0, 정식출시...AI 열풍 가속화 기대

대규모 언어 모델 개발 위한 성능 개선 및 인텔과 CPU 최적화 작업 실시

오픈소스 기계학습(ML) 라이브러리 파이토치의 정식 후속 버전이 4년 만에 출시됐다. 최근 주목 받는 챗GPT 같은 대규모 언어 모델(LLM) 개발에 맞춰 학습속도를 개선하고, 개발편의성을 높였다.

15일(현지시각) 파이토치 재단은 기계 학습 프레임워크 파이토치 2.0을 정식 출시했다.

파이토치 2.0은 기존 개발환경과 동일한 환경을 지원하지만 내부적으로 컴파일러 수준에서 작동하는 방식을 근본적으로 변경해 동적 모양 및 분산에 대한 더 빠른 성능과 기능을 제공한다.

파이토치 2.0(이미지=파이토치개발팀)

새롭게 추가된 고속 트랜스포머는 배터 트랜스포머의 발전형으로 더 낮은 비용으로 AI를 교육하고 배포할 수 있도록 안정화됐다.

파이토치 재단은 이전 버전과 모두 호환되며, 한 줄 정도의 소스코드만 추가하면 속도가 1.3~2배 정도 향상시킬 수 있다고 밝혔다.

파이토치2는 새로운 기능으로 토치다이나모, AOU오토그래드, 프라임토치, 토치인덕터 등이 추가됐다.

토치다이나모는 5년 간의 연구 개발 끝에 완성한 기술로 파이썬 프레임 이벨류에이션 훅을 사용해 파이썬 바이트코드에서 빠르고 안정적으로 FX그래프를 생성할 수 있다.

AOT 오토그래드는 학습 추론 방향을 추적하기 위한 역방향 그래프를 작성하며, 프라임토치는 백엔드 작성 프로세스를 단순화하기 위한 연산자 세트를 지원한다.

토치인덕터는 파이썬 기반 오픈소스 프로그래밍 언어 '트리톤' 등 여러 GPU 가속기 및 백엔드를 지원하기 위한 파이썬 코드를 생성할 수 있는 딥러닝 컴파일러다.

새롭게 추가된 기술은 모두 파이썬으로 개발됐으며 추가적인 개선 작업 없이 사용할 수 있도록 구현해 사용자의 진입 장벽을 낮췄다.

또한 파이토치 2.0 개발은 인텔이 적극적으로 참여했다. 인텔은 토치인덕터를 비롯해 그래프신경망네트워크(GNN), INT8 추론 최적화, 원DNN 그래프 API 등의 작업에 참여하며 새로운 파이토치의 컴파일러를 CPU에 최적화할 수 있도록 지원했다.

인텔과의 협업을 통해 긴밀하게 CPU 최적화 작업을 거친 만큼 대규모 컴퓨팅 파워가 필요한 AI학습 등에 더욱 높은 효율을 보일 것으로 예상된다.

파이토치 개발팀은 "파이토치 2.0은 동일한 개발환경과 사용자 경험을 제공하는 동시에 더 빠른 성능과 컴파일러 수준을 제공한다"며 "1.4 버전이 아닌 2.0 버전으로 출시하는 이유도 내적으로 완전히 바뀌었음을 보여주기 위함이다"라고 강조했다.