GPU 메모리 용량 및 대역폭 180% 향상 신기술 개발

KAIST 정명수 전기 및 전자공학부 교수 연구팀 '옴-GPU' 기술 선보여

소수의 글로벌 기업 주도해 개발 및 생산하고 있는 GPU(Graphic Processing Unit, 여러 프로세스를 병렬적으로 빠르게 처리할 수 있는 연산 장치) 메모리 시스템의 용량과 대역 폭 모두를 이종 메모리(서로 다른 특성을 가진 메모리를 통합한 메모리)와 광 네트워크를 활용해 크게 높인 신기술을 국내 연구진이 개발했다.

KAIST(총장 이광형)는 전기 및 전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 운영체제 연구실)이 3D XPoint 메모리(이하 XPoint, DRAM에 비해 용량이 크지만 데이터 전송 속도가 느린 메모리.)와 D램(DRAM) 메모리를 통합한 이종 메모리 시스템에서 광 네트워크로 통신하는 '옴-지피유(Ohm-GPU)' 기술 개발에 성공, 기존 D램을 단독으로 사용한 전기 네트워크 기반의 GPU 메모리 시스템 대비 181% 이상의 성능 향상을 성취했다고 2일 밝혔다.

기존 GPU는 다수 연산 장치로 구성돼 있어 연산 속도가 매우 빠르다는 장점이 있지만 DRAM을 단독으로 사용하는 메모리 시스템의 낮은 메모리 용량과 좁은 데이터 전송 대역폭으로 연산 성능을 충분히 활용하지 못한다는 문제점을 안고 있다.

KAIST 연구팀이 제안한 Ohm-GPU 구조 개요.

Ohm-GPU 메모리 시스템 내부 구조와 광 네트워크 인프라.

정명수 KAIST 교수

이에 GPU 용량을 증가시키는 대안으로 D램을 XPoint로 대체하는 방법이 있지만 이때 8배 큰 메모리 용량을 얻을 수 있는 반면 읽기 및 쓰기 성능이 4배, 6배로 낮아진다. 또, 대역폭을 증가시키는 대안으로 HBM(High Bandwidth Memory, 3D로 D램을 쌓아 고대역폭을 얻을 수 있는 메모리) 기술을 활용할 수 있지만 단일 면적 내 장착할 수 있는 전기 채널(구리 선, Copper wire, 전기 신호가 전달되는 통로) 개수 한계로 GPU 메모리 시스템이 요구하는 고대역폭을 만족하기 어렵다.

정 교수팀이 개발한 '옴-GPU(Ohm-GPU)' 기술은 대용량 XPoint와 고성능의 D램을 통합한 이종 메모리 시스템을 채택, 기존 메모리 시스템과 동일한 성능을 가지면서도 메모리 용량을 증가시켰다. 또, 단일 광 채널(광섬유, 광 신호가 전달되는 통로)로 서로 다른 파장의 다중 광신호를 전달할 수 있는 광 네트워크 장점을 활용해 메모리 대폭을 대폭 넓힘으로써 기존 GPU 메모리 시스템의 한계점들을 전면 개선했다고 KAIST는 밝혔다.

'옴-GPU' 기술은 GPU 내부에 있는 메모리 컨트롤러 및 인터페이스를 수정해 이종 메모리의 모든 메모리 요청을 광신호로 처리한다. 메모리 요청은 일반적으로 D램 캐시 메모리에서 처리하지만, D램에 없는 데이터는 XPoint에서 읽어와야 한다. 이때, 발생하는 이종 메모리 간 데이터 이동의 오버헤드(대기 시간)는 첫째, 연산을 위한 메모리 접근과 데이터 이동을 위한 메모리 접근의 광 파장을 다르게 설정하고 둘째, 메모리 컨트롤러 개입을 최소화하고 XPoint 컨트롤러가 이종 메모리 간 데이터 이동을 수행함으로써 완화했다.

개발된 '옴-GPU' 기술은 기존 D램을 단독으로 사용하는 전기 네트워크 기반의 GPU 메모리 시스템 대비 다양한 그래프 처리, 과학응용 실행 등에서 181%의 성능 향상을 달성했다고 KAIST는 설명했다. 이는 인공지능(AI), 빅데이터, 클라우드 컴퓨팅 등 대용량, 고대역폭의 데이터 전송을 요구하는 고성능 가속기의 메모리 시스템을 대체할 수 있을 것으로 기대된다.

정명수 교수는 "GPU 메모리 시스템 기술은 일부 해외 유수 기업이 주도하고 있지만 이번 연구성과를 기반으로 GPU 및 GPU와 유사한 모든 고성능 가속기 메모리 시스템 관련 시장에서 우위를 선점할 가능성을 열었다는 점에서 의미가 있다"고 강조했다.

한편 이번 연구는 올해 10월에 열릴 컴퓨터 구조 분야 최우수 학술대회인 '마이크로(MICRO, International Symposium on Microarchitecture) 2021'에 관련 논문(논문명: Ohm-GPU: Integrating New Optical Network and Heterogeneous Memory into GPU Multi-Processors)으로 발표될 예정이다. 이를 통해 정교수 팀은 스토리지 및 메모리 관련 연구로 올해 세계 컴퓨터 구조에서 가장 잘 알려진 4개의 최우수 학술대회 모두에서 그 결과를 공유한다. 이번 연구에 대한 자세한 내용은 연구실 웹사이트에서 확인할 수 있다.

'