마이크로소프트, 새 AI 모델 사전학습 완료…"딥시크보다 효율 12배↑"

'MAI-베이스-2' 매개변수 2조 8000억 개…"다음 모델 개발도 착수"

마이크로소프트가 자체 인공지능(AI) 모델 개발 역량을 강화해 기업용 AI 시장 경쟁력 확보에 나섰다. 

마이크로소프트는 최근 2조 8000억 매개변수를 가진 차세대 파운데이션 모델 'MAI-베이스-2' 사전학습을 완료했다고 공식 블로그를 통해 16일 밝혔다. 이는 지난 6월 공개한 'MAI-베이스-1' 후속 모델로 엔비디아 GB200 그래픽처리장치(GPU) 1만 6000개를 활용해 38일간 학습해 개발됐다.

마이크로소프트는 자체 평가에서 MAI-베이스-2가 비교 대상인 주요 오픈웨이트 모델보다 우수한 성능을 기록했다고 밝혔다. 특히 중국 AI 기업 딥시크의 '딥시크-V4-프로-베이스'와 비교해 동일한 성능을 달성하는 데 필요한 연산량을 4.2~12.3배 줄인 것으로 나타났다.

마이크로소프트는 최근 2조 8000억 매개변수를 가진 차세대 파운데이션 모델 'MAI-베이스-2' 사전학습을 완료했다 (사진=마이크로소프트 블로그)

이번 모델은 전체 매개변수 2조 8000억 개 가운데 실제 추론 과정에서 약 800억 개만 활성화하는 전문가 혼합(MoE) 구조로 이뤄졌다. 입력 데이터에 필요한 일부 전문가 네트워크만 작동시켜 모델 규모를 키우면서도 연산 부담을 줄이는 식이다.

마이크로소프트는 모델 구조와 학습 알고리즘을 함께 개선해 GPU 활용 효율을 높였다고 밝혔다. 특히 전문가 혼합 구조의 메모리 관리 방식을 최적화해 해당 연산 구간의 모델 연산 활용률을 기존 24%에서 35%로 끌어올린 것으로 전해졌다.

해당 모델은 학습 안정성을 높이기 위한 기술도 갖췄다. '뮤온(Muon)' 최적화 알고리즘과 그래디언트 조정 기술을 활용해 대규모 학습 과정에서 발생하는 연산 부담과 불안정성을 줄였다.

마이크로소프트는 모델 학습 데이터 규모도 기존보다 확대했다. MAI-베이스-2에 사용한 고유 학습 데이터는 이전 모델보다 약 36% 늘었다. 다른 AI 모델의 답변을 학습하는 증류 방식 대신 자체 확보한 원천 데이터를 적용했다. 

해당 모델은 텍스트와 이미지를 함께 학습하는 비전언어모델(VLM)로 문서와 차트 분석부터 공간 추론과 컴퓨터 사용 등 다양한 시각적 작업을 처리할 수도 있다. 

마이크로소프는 현재 MAI-베이스-2 후속 학습을 진행하고 있다. 향후 추가 성능 평가 결과를 공개하고 자체 AI 플랫폼 '마이크로소프트 파운드리'를 통해 기업 고객에게 모델 가중치를 제공하는 방안도 추진할 계획이다.

회사는 차기 모델 'MAI-베이스-3' 개발 준비에도 착수했다고 밝혔다. 자체 모델과 인프라를 함께 최적화해 AI 성능과 비용 경쟁력을 지속적으로 높인다는 구상이다.