노타, 국가대표 AI 모델 최적화 지원 이어간다

업스테이지 컨소시엄 독파모 3차수 진출

노타가 자체 인공지능(AI) 모델 경량화 및 최적화 기술을 바탕으로 국가대표 AI 모델의 활용 경쟁력 강화에 나선다.

노타는 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트에 참여한 업스테이지 컨소시엄이 3차수에 진출한 데 따라 기술 지원을 이어갈 계획이라고 20일 밝혔다.

노타는 업스테이지 컨소시엄에서 AI 파운데이션 모델 '솔라' 계열 경량화와 최적화를 담당하고 있다. 모델 성능을 유지하면서 연산 자원과 메모리 사용량을 줄여 다양한 하드웨어와 서비스 환경에 적용할 수 있도록 지원하는 역할이다. 

(사진=노타)

다음 단계에 진출한 업스테이지의 '솔라 오픈 2'는 2500억 개의 매개변수를 갖춘 AI 모델이다. 노타는 모델 가중치를 INT4 또는 NVFP4 기반의 4비트 형식으로 변환하고 중요도가 낮은 연산 모듈을 선별적으로 정리하는 경량화 기술을 적용했다.

그 결과 가중치 저장에 필요한 메모리를 500.6 기가바이트(GB)에서 117.8GB로 76.5% 줄였다. 메모리 용량 기준으로 엔비디아 H100 그래픽처리장치(GPU) 8장이 필요했던 원본 모델을 2장으로도 구동할 수 있게 한 것이다. 

채명수 노타 대표는 "국가대표 AI 모델이 다양한 산업 현장에서 비용 효율적으로 활용될 수 있도록 최적화 기술을 지속 고도화할 것"이라며 "업스테이지와 함께 독파모 3차수 평가에서도 좋은 성과를 거둘 수 있도록 최선을 다하겠다"고 말했다.