UL 솔루션즈, LLM 성능 측정 벤치마크 S/W 출시

프로시온 AI 텍스트 생성 벤치마크, 주요 GPU·SDK 지원

글로벌 시험·인증 기관 UL 자회사, UL 솔루션즈가 10일 AI PC의 거대언어모델(LLM) 구동 시간을 측정하는 '프로시온 AI 텍스트 생성 벤치마크'를 출시했다.

이 벤치마크 소프트웨어는 클라우드가 아닌 PC 상에서 LLM 구동시 성능을 측정하며 CPU와 GPU 상대 성능 비교에 활용할 수 있다.

프로시온 AI 텍스트 생성 벤치마크. (사진=UL 솔루션즈)

AMD 라데온, 인텔 아크, 엔비디아 지포스 등 주요 GPU, 마이크로소프트 다이렉트ML과 인텔 오픈비노 등 AI 구동을 위한 프레임워크를 모두 지원한다.

내장한 오픈소스 LLM은 파이 3.5 미니, 미스트랄 7B, 라마 3.1 8B, 라마2 13B 등으로 소형, 중형, 대형 LLM 구동 성능을 모두 확인할 수 있다.

UL 솔루션즈는 "이번 벤치마크 개발을 위해 주요 하드웨어·소프트웨어 선도 업체와 협력했으며 이를 통해 PC 내 AI 가속 하드웨어를 최대한 활용한다"고 밝혔다.

프로시온 AI 텍스트 생성 벤치마크는 프로시온 AI 벤치마크 이용권을 가진 개인이나 기업 이용자에게 무료로 제공된다.