노타, 세계적 학회서 'MoE' 특화 AI 최적화 기술력 입증

ICML 2026 워크샵서 MoE 양자화 알고리즘 논문 2편 채택…핵심 기술 고도화

노타가 세계적 머신러닝 학회에서 거대언어모델(LLM) 핵심 구조로 주목받는 전문가 혼합(MoE) 모델 최적화 분야 기술력을 인정받았다. 지난 엔비디아 네모트론 해커톤에서 데이터 기반 MoE 양자화 기법으로 트랙 우승과 종합우승을 차지한 데 이은 성과다. 

노타는 ICML 2026의 '리소스 적응형 파운데이션 모델 추론(AdaptFM)' 워크숍에서 자사의 MoE 특화 양자화 알고리즘 논문 2편이 최종 채택됐다고 11일 밝혔다.

MoE는 여러 전문가 모델 중 필요한 일부만 선택해 동작하는 방식으로, 대형 AI 모델의 성능과 효율을 동시에 높일 수 있어 최신 LLM에서 빠르게 확산하고 있다. 다만 모델 구조가 복잡한 만큼 이를 더 작고 가볍게 만드는 양자화 과정에서도 기존 일반 모델과는 다른 접근이 필요하다.

노타가 ICML 2026의 '리소스 적응형 파운데이션 모델 추론(AdaptFM)' 워크숍에서 자사의 MoE 특화 양자화 알고리즘 논문 2편이 최종 채택됐다고 밝혔다. (사진=노타)

이번에 채택된 첫 번째 논문 'DREAM-MoE'는 대규모 AI 모델을 여러 구간으로 나눠 양자화할 때 발생할 수 있는 판단 흐름의 변화를 줄이는 방법을 제안한다. 노타는 앞쪽 구간에서 생긴 작은 오차가 뒤쪽 구간 전문가 선택까지 바꿀 수 있다는 점에 주목해 양자화 이후에도 모델이 원래와 유사한 방식으로 필요한 전문가를 선택할 수 있도록 했다.

또 다른 논문 'SRA-MoE'는 모델 결과에 더 큰 영향을 주는 중요한 입력을 선별해 우선적으로 보호하는 방법을 제안한다. 모든 입력을 동일하게 다루기보다 핵심 입력에서 전문가 선택이 크게 흔들리지 않도록 설계해 제한된 자원으로도 모델 품질을 효과적으로 유지할 수 있도록 했다.

두 연구 모두 최신 MoE 특화 양자화 기법들과 비교해 더 높은 성능이 확인됐다고 노타는 강조했다. AI 모델을 더 적은 메모리와 연산 자원으로 실행하면서도 품질 저하를 줄였다는 설명이다. 

노타는 정부 주도의 독자 파운데이션 모델 개발 과제에 참여 중인 업스테이지 컨소시엄에서 '솔라 MoE'와 같은 대규모 모델 최적화를 추진하는 한편, 엔비디아 네모트론 3 나노 모델 양자화 경험을 네모트론 울트라 등 최신 모델로 확장하는 등 기술 적용 범위를 넓히고 있다.

채명수 노타 대표는 "이번 논문 채택은 노타가 MoE에 특화된 양자화 기술을 꾸준히 고도화해 온 성과"라며 "대규모 AI 모델을 더 효율적으로 활용할 수 있는 최적화 기술 개발을 이어가겠다"고 말했다.