엔비디아 "자율주행 다음 개척지는 추론…차량용 GPT만으론 부족"

마르코 파보네 수석 디렉터, 알파마요 모델·시뮬레이션·데이터 생태계 공개

"자율주행의 다음 개척지는 추론하는 힘을 통해 가능해질 것입니다. 극히 드물거나 이전에 마주하지 못한 상황에서도 모델이 판단하고 그에 맞춰 행동할 수 있어야 합니다."

마르코 파보네 엔비디아 자율주행차 연구 부문 수석 디렉터 겸 스탠퍼드대 교수는 25일 서울 코엑스에서 열린 '2026 자율주행 산업 컨퍼런스'에서 '피지컬 AI를 위한 추론 모델'을 주제로 발표하며 이같이 말했다.

파보네 디렉터는 자율주행 AI가 주변 사물을 인식하는 수준을 넘어 도로 상황의 맥락과 교통 참여자 간 관계를 이해해야 한다고 강조했다. 차량이 어떤 주행 행동을 선택했는지 논리적으로 설명하는 능력도 필요하다고 봤다.

마르코 파보네 엔비디아 자율주행차 연구 부문 수석 디렉터 겸 스탠퍼드대 교수가 25일 서울 코엑스에서 열린 '2026 자율주행 산업 컨퍼런스'에서 '피지컬 AI를 위한 추론 모델'을 주제로 발표하고 있다. (사진=자율주행모빌리티산업전)

그는 "중요한 것은 언어적 이해와 상식적인 추론을 물리적 행동으로 연결하는 것"이라며 "그것이 궁극적으로 우리가 달성하려는 목표"라고 말했다.

엔비디아는 이를 구현하기 위해 자율주행 AI 플랫폼 '알파마요'를 개발하고 있다. 알파마요의 핵심은 시각 정보와 언어 이해, 행동 생성을 결합한 비전·언어·행동(VLA) 모델이다.

차량 센서로 확보한 정보를 바탕으로 주변 환경을 인식하고, 도로 상황과 잠재적 위험을 추론해 주행 궤적을 생성한다. 판단 과정은 언어로도 제시해 차량이 차선을 바꾸거나 속도를 줄인 이유를 사람이 확인할 수 있도록 했다.

파보네 디렉터는 "파운데이션 모델은 차량에 탑재되는 시스템에만 사용하는 것이 아니라 전체 개발 과정에서 활용할 수 있다"며 "자율주행 시스템을 설계하고 개발하며 검증하는 여러 단계에 적용할 수 있다"고 설명했다.

모델 학습은 여러 단계로 진행된다. 먼저 광범위한 데이터로 일반적인 지식을 학습한 뒤 대규모 주행 데이터를 활용해 경로 예측 능력을 갖추게 한다. 이후 주행 상황에 대한 추론 과정을 감독 데이터로 활용해 미세조정하고, 강화학습으로 안전성과 주행 성능, 사람의 선호를 조율한다.

그는 "검증 가능한 안전 점수와 사람의 선호 등 서로 다른 신호를 하나의 보상 체계로 결합한다"며 "후속 학습과 정렬 작업을 거치면 행동 생성과 주행 성능에서 일관된 개선을 확인할 수 있다"고 말했다.

엔비디아는 규모가 큰 AI 모델에서 확보한 판단 능력을 차량용 소형 모델에 학습시키는 '지식 증류' 기술도 활용한다. 대형 모델은 성능이 뛰어나지만 연산량이 많아 차량에서 실시간으로 구동하기 어렵기 때문이다.

마르코 파보네 엔비디아 자율주행차 연구 부문 수석 디렉터 겸 스탠퍼드대 교수가 25일 서울 코엑스에서 열린 '2026 자율주행 산업 컨퍼런스'에서 '피지컬 AI를 위한 추론 모델'을 주제로 발표하고 있다. (사진=지디넷코리아)

파보네 디렉터는 "대형 모델의 추론 능력을 작은 모델로 압축하면 차량에서도 실시간으로 실행할 수 있다"며 "모델과 학습 데이터의 규모를 확대할수록 주행 성능이 개선되는 경향도 확인했다"고 말했다.

엔비디아는 알파마요를 단일 AI 모델이 아닌 자율주행 개발 생태계로 확장하고 있다. 추론형 모델과 오픈소스 시뮬레이션 도구 알파심 그리고 실제 주행 데이터세트를 함께 제공해 개발사가 모델을 학습하고 검증할 수 있도록 했다.

파보네 디렉터는 "알파마요 플랫폼의 가치는 단일 모델에만 있지 않다"며 "개발을 촉진하는 모델과 시뮬레이션 도구, 데이터세트로 구성된 하나의 생태계"라고 강조했다.

이어 "특정 지역에 제품을 배포하려면 해당 지역에 적합한 데이터와 일정 수준의 현지화가 필요하다"며 개방형 모델을 활용해 기업별·지역별 주행 환경에 맞게 미세조정할 수 있다고 설명했다.

엔비디아가 최근 공개한 '알파마요 2 슈퍼'도 소개했다. 알파마요 2 슈퍼는 340억개 매개변수를 갖춘 추론형 VLA 모델로, 주행 궤적 생성과 상황 추론, 상위 행동 예측, 주행 데이터 자동 분류 등을 수행한다.

파보네 디렉터는 생성형 AI를 자율주행차에 적용하는 일을 단순히 거대언어모델(LLM)을 차량에 탑재하는 것으로 이해해선 안 된다고 지적했다.

마르코 파보네 엔비디아 자율주행차 연구 부문 수석 디렉터 겸 스탠퍼드대 교수가 25일 서울 코엑스에서 열린 '2026 자율주행 산업 컨퍼런스'에서 '피지컬 AI를 위한 추론 모델'을 주제로 발표하고 있다. 화면은 알파마요를 적용한 자율주행 로봇 시연 모습. (사진=지디넷코리아)

그는 "발표를 하면 많은 사람이 '결국 자동차에 GPT를 넣으려는 것 아니냐'고 묻는다"며 "첨단 AI 모델, 특히 파운데이션 모델과 추론 모델을 실제 응용 분야에 적용하는 과정에는 많은 과제가 있다"고 말했다.

이어 "파운데이션 모델과 추론 모델 자체가 완전한 해답은 아니라는 점을 인식해야 한다"며 "엔비디아의 안전 접근법에서 중요한 것은 안전 아키텍처를 어떻게 설계하느냐"라고 강조했다.

AI 모델이 생성한 판단을 그대로 차량 제어에 사용하는 것이 아니라 별도의 안전 체계를 통해 행동 범위를 제한하고 검증해야 한다는 설명이다. 그는 "이러한 아키텍처를 적용하면 시스템의 안전성을 더욱 쉽게 검증할 수 있다"고 말했다.

자율주행 분야에서 개발한 추론 모델은 로봇을 비롯한 다른 피지컬 AI 영역으로도 확장할 수 있다고 내다봤다.

파보네 디렉터는 "로봇 분야는 작업과 산업, 환경 측면에서 매우 파편화돼 있다"며 "자율주행용 모델을 서로 다른 형태의 로봇에 맞게 조정하면 사람이 언어로 제공한 지시에 따라 로봇이 현실 세계를 탐색하고 주변 환경과 상호작용하도록 할 수 있다"고 말했다.

이어 "자율주행에는 상당한 수준의 장기 기억과 다른 교통 참여자의 움직임을 종합적으로 판단하는 능력이 필요하다"며 "앞으로는 에이전틱 AI를 어떻게 활용하느냐가 매우 중요해질 것"이라고 덧붙였다.