마이크로소프트 자연어처리 AI모델, 구글 제치고 1위 달성

마이크로소프트(MS)의 자연어처리(NLU) 인공지능(AI)모델 디버타(DeBERTa)가 AI테스트에서 구글을 제치고 1위를 기록했다.

마이크로소프트는 자체 연구개발한 언어모델 디버타가 슈퍼글루(SuperGLUE) 벤치마크에서 90.3을 기록하며 1위를 달성했다고 6일(현지시간) 공식블로그를 통해 밝혔다. 

디버타는 구글의 T5와 신경대화형 모델 미나(Meena)을 연동해 달성한 90.2보다 0.1 높은 수치를 달성했다.

슈퍼글루 테스트 스코어 보드(이미지=마이크로소프트)

슈퍼글루는 자연어처리 모델을 측정하는데 있어 가장 까다로운 벤치마크로 알려져 있다.

다버타는 슈퍼글루에서 사람의 기준점으로 설정한 89.8점을 T5 이후 두 번째로 넘어섰다. 단일 언어모델로는 처음이다.

마이크로소프트는 디버타가 T5를 실질적으로 능가했다고 주장하고 있다. 110억 개의 매개변수로 구성된 T5에 비해 15억 개의 매개변수를 사용한 디버타가 학습 및 유지관리에 효율적이며 다양한 설정의 앱을 압축하고 배포하기 쉽다는 것이다.

디버타는 구글의 버트(BERT)와 같은 사전 훈련 언어 모델(PLM)이다. 언어모델 성능 향상을 위해 분리 주의 매커니즘, 향상된 마스크 언어모델, 스케일 인베리언트 파인 튜닝 훈련 등 3가지 새로운 기술을 적용된 것이 특징이다.

마이크로소프트는 자연어 표현 모델 튜링 NLRv4에 통합해 오피스, 다이나믹스, 애저 코그니티브 서비스, 빙 등 서비스 제품에 적용할 계획이다. 또한 테스트에 사용한 디버타 모델과 소스코드를 깃허브를 통해 공개할 예정이라고 밝혔다.