노타, 中 '키미 K3' 경량화…GPU 최대 절반 줄여

엔비디아 B300 GPU 기존 8장서 감축…추론 효율·연산 인프라 활용도 향상

노타가 최근 업계 주목을 받는 중국 문샷AI의 초거대 인공지능(AI) 모델 '키미 K3'를 경량화해 구동에 필요한 그래픽처리장치(GPU)를 최대 절반으로 줄이는 데 성공했다.

노타는 전문가 모듈을 각각 25%·50% 줄인 키미 K3 경량화 모델 2종을 공개했다고 6일 밝혔다. 2조 8000억 개 매개변수를 갖춘 키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(MoE) 구조를 채택한 오픈웨이트 모델이다. 

이를 구동하려면 엔비디아 최신 고성능 GPU인 B300 8장이 필요해 기업·개발자가 활용하기에 비용과 인프라 부담이 컸다. 키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트와 8비트로 설계해 일반적인 양자화 방식만으로는 추가 압축 범위가 제한적이라는 문제도 있었다.

키미 K3 모델 경량화 결과 (사진=노타)

노타는 이를 자체 개발한 '비균일 전문가 프루닝' 기술로 해결했다. 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 보존하고 기여도가 낮은 모듈만 선별 제거하는 방식이다. 모든 층을 동일 비율로 줄이던 기존 방식과 달리 층별 제거 비율을 다르게 적용해 성능 저하를 최소화했다.

키미 K3 경량화 모델 2종은 구동에 필요한 GPU 수가 기존 8장에서 각각 6장·4장으로 줄었다. 노타 자체 평가 결과, 50% 경량화 모델은 층별 전문가를 동일한 비율로 제거하는 기존 방식(REAP)보다 대다수 벤치마크에서 더 높은 성능 보존율을 기록했다. 고난도 과학·추론 능력 평가(GPQA-Diamond)와 지시 수행 능력 평가(IFeval) 점수는 각각 2.52점, 2.22점 높았다.

김태호 노타 최고기술책임자(CTO)는 "다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다"고 말했다.