얀 르쿤의 AMI랩스, 로봇에 '미래 예측 능력' 심는다

쿠엔틴 가리도 연구원, 월드모델·VLA 결합 제안…로봇 작업 성공률 70% 연구 사례 소개

로봇이 실제 제조 현장에서 스스로 판단하고 움직이려면 행동의 결과를 미리 예측하는 '월드모델'과 빠르게 동작을 결정하는 인공지능(AI)을 결합해야 한다는 제안이 나왔다.

쿠엔틴 가리도(Quentin Garrido) AMI랩스 연구원은 14일 서울 코엑스에서 열린 '피지컬 AI 테크 위크'에서 월드모델 예측 능력을 실제 로봇 행동으로 연결하는 기술이 중요하다고 강조했다. 미래 상황을 정확하게 예측하는 것만으로는 부족하며 그 예측을 활용해 로봇이 스스로 작업을 수행하도록 만들어야 한다는 주장이다.

AMI랩스는 얀 르쿤 전 메타 수석 AI 과학자가 공동 설립한 AI 연구기업이다. 거대언어모델(LLM) 중심 기존 접근법과 달리 물리 세계의 움직임과 변화를 이해하고 미래 상황을 예측하는 월드모델 개발에 주력하고 있다.

쿠엔틴 가리도 AMI랩스 연구원은 ”월드모델 예측 능력을 실제 로봇 행동으로 연결하는 기술이 중요하다”고 밝혔다. (사진=지디넷코리아)

월드모델은 AI가 주변 환경을 이해하고 특정 행동에 따라 어떤 변화가 발생할지 예측하는 기술이다. 로봇이 움직이기 전에 여러 행동의 결과를 검토하고 목표 달성에 적합한 동작을 선택하는 데 활용할 수 있다.

이날 강연에서는 로봇 작업을 여러 단계로 나눠 계획해 물체를 집어 옮기는 실험의 성공률을 0%에서 70%로 높인 기존 연구 결과도 소개됐다. 로봇이 목표를 향해 한 번에 움직이는 대신 중간에 필요한 동작을 나눠 수행하도록 한 결과다.

"물리 세계는 텍스트가 아니다"…행동 결과 예측하는 월드모델

가리도 연구원은 LLM과 월드모델이 정보를 학습하고 예측하는 방식에 차이가 있다고 설명했다. LLM이 문맥에 따라 다음 단어를 예측한다면 월드모델은 특정 행동을 했을 때 주변 환경이 어떻게 변할지 예측한다.

그는 계단을 오르는 동작을 사례로 들었다. 계단을 오르는 방법을 글로 자세히 설명하려면 복잡한 지시가 필요하지만 영상으로 보면 어떤 움직임인지 쉽게 이해할 수 있다.

이러한 차이는 로봇이 실제 환경에서 움직일 때 중요해진다. LLM은 중력이나 질량에 관한 지식을 설명할 수 있지만 물체가 실제로 어떻게 움직일지 정확하게 예측하는 데는 한계가 있다. 챗봇의 잘못된 답변과 달리 로봇의 판단 오류는 장비 충돌이나 인명 피해로 이어질 수도 있다.

월드모델은 로봇이 행동하기 전에 여러 결과를 비교하도록 한다. 왼쪽으로 이동하면 장애물에 부딪히고 오른쪽으로 이동하면 목적지에 도달할 수 있다면, 실제로 움직이지 않고도 두 경로를 예측해 더 적절한 방향을 선택하는 원리다.

이를 위해 활용하는 기술 중 하나가 JEPA다. 영상의 일부 정보를 가린 뒤 나머지를 바탕으로 빠진 정보를 예측하면서 물체의 움직임과 주변 환경의 특징을 학습한다. 이렇게 얻은 정보를 토대로 로봇의 행동에 따른 환경 변화를 예측하는 모델을 구축할 수 있다.

로봇 작업 성공률 70%…빠른 행동 AI와 결합 모색

월드모델을 실제 로봇 작업에 활용하려면 무엇을 먼저 하고 다음에 어떤 동작을 수행할지 계획하는 과정이 필요하다. 물체를 집어 다른 위치에 놓는 작업이라면 물체에 접근하고 집어 올린 뒤 목적지로 이동하는 순서를 정해야 한다.

그러나 최종 목표만 보고 움직임을 계획하면 중간에 필요한 동작을 제대로 찾아내지 못할 수 있다. 이를 해결하기 위해 가리도 연구원은 서로 다른 수준에서 계획하는 두 개의 월드모델을 활용했다고 밝혔다.

상위 모델이 물체에 접근하거나 집어 올리는 등 중간 목표를 정하면 하위 모델이 각 목표를 수행할 세부 동작을 결정한다. 이러한 계층적 계획을 적용한 기존 연구에서 로봇팔의 물체 집어 옮기기 성공률은 70%를 기록했다. 한 번에 작업을 계획한 비교 방식의 성공률은 0%였다.

가리도 연구원은 월드모델을 로봇의 움직임을 빠르게 결정하는 시각·언어·행동(VLA) 모델과 결합하는 방향도 제안했다. VLA 모델이 카메라 영상과 작업 지시를 바탕으로 행동을 결정한다면, 월드모델은 그 행동이 어떤 결과를 가져올지 미리 검토할 수 있다.

두 기술 차이는 인간의 사고방식에 비유할 수 있다. 익숙한 일을 빠르게 처리하는 직관적 사고가 VLA 모델에 가깝다면 여러 가능성을 따져 신중하게 판단하는 사고는 월드모델에 해당한다.

이 둘을 결합하면 VLA 모델이 행동 후보를 만들고 월드모델이 각각의 결과를 검토해 적절한 동작을 고를 수 있다. 기존 행동 AI의 빠른 처리 속도와 월드모델의 예측 능력을 함께 활용하려는 접근이다.

실제 산업 현장에 적용하려면 해결해야 할 문제도 있다. 작업 시간이 길어질수록 로봇이 계획해야 할 동작이 많아지고 미래를 예측하는 과정에서 오류가 누적될 수 있기 때문이다.

강연 이후 질의응답에서도 장시간 작업을 계획할 때 발생하는 연산 부담이 거론됐다. 가리도 연구원은 작업을 여러 단계로 나누는 계층적 계획과 연산을 동시에 처리하는 병렬화 기술을 해결 방향으로 제시했다.

월드모델이 현실의 문제를 해결할 수 있는 수준으로 발전해야 한다는 점도 거듭 강조했다. 영상을 생성하거나 미래 상황을 예측하는 성능이 높더라도 실제 로봇이 작업을 수행하지 못한다면 활용에 한계가 있다는 판단이다.

가리도 연구원은 "세계의 미래를 예측할 수 있는 모델을 어떻게 실제 문제 해결에 활용할 것인가가 남은 과제"라며 "월드모델을 조금 더 개선하는 것보다 그 능력을 실제 작업에 활용하는 방법이 중요하다"고 말했다.