GPU 활용률 '90%' 이상 가능…아크릴, AI 인프라 비용 줄인다

[AI 페스타 26] GPUBASE로 GPU 효율적 관리…대규모 서버 환경서 검증

"실제 업무 환경에서 GPU는 다양한 문제로 50~60%의 활용률에 머무르는 경우가 있다. 아크릴의 플랫폼을 적용하면 이를 90% 이상으로 끌어올릴 수 있어, AI 인프라 운영비용율 획기적으로 절감할 수 있다"

김종율 아크릴 이사는 8일 서울 코엑스에서 열린 'AI 페스타 26'에서 AI 인프라 운영 효율화를 위한 기술을 소개했다.

김종율 아크릴 이사가 'AI 페스타 26'에서 발표를 진행하고 있다(사진=지디넷코리아)

지난 2011년 설립된 아크릴은 AX 인프라 소프트웨어 전문 기업이다. AI 인프라 오케스트레이션 플랫폼인 'GPUBASE'를 공급하고 있다.

GPUBASE는 여러 서버에 분산된 GPU를 하나의 자원 풀처럼 관리하고, 각 워크로드에 필요한 자원을 배분해 GPU 활용률을 높이는 솔루션이다.

또한 GPUBASE는 네트워크 최적화 기능을 갖췄다. 특정 경로에 트래픽이 몰리는 경우를 방지하기 위해 다중 경로를 활용하고, 작업별 우선순위에 따라 트래픽을 처리하는 기술이다.

김 이사는 "실제 업무 환경에서 모니터링된 GPU 할당률은 90%지만, 실제 연산 가동률은 50~60%에 머무르는 사례들이 보고되고 있다"며 "이에 아크릴은 AI로 필요한 메모리와 코어를 예측해, 맞는 크기로 GPU를 배치하는 시스템을 구축했다"고 설명했다.

현재 아크릴은 실제 대규모 GPU 환경에서 GPUBASE 검증을 완료한 상황이다. AWS, 구글, 마이크로소프트 등 3대 클라우드 환경에서 총 1272장의 GPU장을 운용한 결과, AI 학습 속도는 최대 24배 향상된 것으로 나타났다. GPU 활용률은 90%를 상회했다.

엔크릴은 GPUBASE와 같은 AI 인프라용 소프트웨어 기술이 대한민국의 소버린 AI 구축에 있어 핵심적인 역할을 할 것으로 내다봤다.

김 이사는 "GPU 등 각종 AI 반도체를 하나의 풀로 운영해, 특정 공급사와 공급망에 종속되지 않는 연산 주권을 확보해야 한다"며 "폐쇄망에서 완전 구동될 수 있는 망 주권, 자체 모델과 운영 도구로 모델을 직접 만드는 모델 주권도 중요하다"고 강조했다.

AI 페스타 2026은 과학기술정보통신부가 주최하고 한국인공지능·소프트웨어산업협회(KOSA)와 AI페스타조직위원회가 주관하는 인공지능주간 공식 행사다.