엔비디아, 현실 이해하는 '코스모스 3' 출시…월드 모델 생태계 확장

'엔비디아 코스모스 3' 공개…비전 추론·월드 생성·행동 예측 통합 작동

엔비디아가 로봇·자율주행차 개발에 필요한 인공지능(AI) 모델을 개방형으로 출시했다.

엔비디아는 1일 '컴퓨텍스 2026' 기간 동안 열린 '엔비디아 GTC 타이베이'에서 개방형 월드 파운데이션 모델 '엔비디아 코스모스 3'를 공개했다고 1일 밝혔다. 코스모스 3는 비전 추론과 월드 생성, 행동 예측을 한 시스템에 결합한 피지컬 AI용 모델이다.

코스모스 3는 텍스트와 이미지, 영상, 주변 소리, 행동을 이해하고 생성할 수 있는 완전 개방형 옴니모델이다. 엔비디아는 이 모델이 피지컬 AI 학습과 평가 주기를 수개월에서 수일로 줄일 수 있다고 설명했다.

엔비디아는 대만 타이베이에서 열린 'GTC 2026'에서 개방형 월드 파운데이션 모델 '엔비디아 코스모스 3'를 공개했다. (사진=엔비디아)

이 모델은 혼합 트랜스포머 아키텍처를 기반으로 작동한다. 추론 트랜스포머와 전문가 생성 트랜스포머를 결합해 객체 상호작용과 움직임, 시공간 관계를 이해한 뒤 영상과 행동 궤적을 생성하는 식이다.

엔비디아는 코스모스 3를 텍스트와 이미지, 영상, 소리, 행동 궤적을 포함한 대규모 멀티모달 피지컬 AI 데이터셋으로 학습시켰다. 개발자는 이를 비전 언어 모델과 월드 모델, 비디오 파운데이션 모델, 월드 액션 모델 백본으로 활용할 수 있다.

코스모스 3는 개방형 모델 중 여러 피지컬 AI 벤치마크에서 1위를 기록한 것으로 나타났다. 월드 생성 정확도 부문에서는 아티피셜 애널리시스, 피직스-IQ, PAI-벤치, R-벤치에서 상위 성과를 냈으며, 행동 정책과 비전 이해 평가에서도 상위권에 올랐다. 

엔비디아는 개발 목적에 따라 코스모스 3 제품군을 나눠 제공한다. '코스모스 3 슈퍼'는 높은 물리 정확도와 생성 품질이 필요한 로보틱스와 자율주행차 모델 사후 학습용이다. '코스모스 3 나노'는 빠른 영상·행동 추론용이다. 실시간 엣지 추론을 위한 '코스모스 3 엣지'는 추후 출시된다.

엔비디아는 코스모스 생태계 확대를 위해 '엔비디아 코스모스 연합'도 출범했다고 밝혔다. 애자일로봇을 비롯한 블랙포레스트랩스, 제너럴리스트, 런웨이, 스킬드 AI 등이 창립 회원사로 참여한다.

코스모스 플랫폼은 로보틱스와 물리, 인간 동작, 자율주행, 창고 안전, 공간 추론용 데이터셋도 제공한다. 신경망 기반 장면 재구성, 결함 이미지 생성, 영상 증강을 위한 피지컬 AI 에이전트 스킬도 포함됐다.

현재 코스모스 3 슈퍼와 코스모스 3 나노는 이용 가능하다. 개발자는 엔비디아 빌드에서 모델을 시험하고 허깅페이스에서 개방형 모델을 내려받을 수 있다. 깃허브와 허깅페이스 디퓨저스를 통해 모델 맞춤화와 합성 데이터 생성도 가능하다.

젠슨 황 엔비디아 창립자 겸 최고경영자"CEO)는 "멀티모달 추론 언어와 비전, 월드 모델의 혁신 덕분에 피지컬 AI 빅뱅이 눈앞으로 다가왔다"며 "코스모스 3 개방형 프런티어 옴니모델 제품군은 개발자들이 물리 세계를 인식하고 추론하며 계획하고 행동하는 로봇, 자율주행차, 비전 AI를 구축할 수 있도록 세대적 도약을 제공한다"고 밝혔다.