엔비디아, 40개 언어 받아쓰는 오픈 음성인식 모델 공개

엔비디아가 현지 시각 10월 28일 음성을 글로 옮기는 오픈 가중치 AI 모델 '네모트론 3.5 트랜스크라이브(Nemotron 3.5 Transcribe)'를 공개했다. 오픈 가중치 모델은 학습을 마친 모델 파일을 공개해 누구나 내려받아 실행할 수 있는 모델이다. 네모트론 3.5 트랜스크라이브는 40개 언어 받아쓰기를 지원하고, 영어와 대부분의 지원 언어 사이 음성 번역도 처리한다.

전체 매개변수는 약 340억 개지만, 작업마다 일부 전문가 모듈만 작동하는 전문가 혼합(MoE) 구조여서 실제 연산에 참여하는 매개변수는 약 43억 개다. 최대 1시간 분량의 녹음을 한 번에 처리하고, 화자를 구분해 누가 말했는지 표시한다. 테크크런치는 최대 8명의 화자를 구분할 수 있다고 전했으며, 실시간 음성은 지원하지 않고 녹음 파일만 처리한다고 설명했다.

엔비디아가 공개한 단어 오류율은 영어 오픈 ASR 9개 데이터셋 평균 4.71%, 7개 언어 평균 4.62%를 기록했다. 단어 오류율은 받아쓴 결과에서 틀린 단어의 비율로, 낮을수록 정확하다. 여러 사람이 대화하는 녹음 평가에서는 15.80%로 기존 최고 공개 결과인 16.83%보다 낮았다.

모델은 H100 80GB GPU 한 장에서 실행할 수 있고, 로봇용 컴퓨터 젯슨 AGX 토르와 개인용 AI 컴퓨터 DGX 스파크에서도 구동된다. 라이선스는 상업적 이용을 허용하는 'OpenMDW-1.1'이며 허깅페이스에서 내려받을 수 있다. 용량을 줄인 FP8과 NVFP4 버전도 함께 제공되며, 엔비디아는 RTX PRO 6000 GPU 한 장에서 1초에 약 2,238초 분량의 음성을 처리했다고 밝혔다. 엔비디아는 회의록과 의료 기록 받아쓰기 서비스를 주요 용도로 제시했고, 업종별 전문 용어를 추가 학습할 수 있는 음성 데이터셋 '그래너리(Granary)' 2버전도 함께 공개했다.

음성 AI 시장에서는 이달 미스트랄이 받아쓰기 모델 '복스트랄 3'를 공개했고, 일레븐랩스도 음성 에이전트용 실시간 모델을 출시하는 등 경쟁이 이어지고 있다.

자세한 내용은 허깅페이스에서 확인할 수 있다.

이미지 출처: 엔비디아