얀 르쿤 "5년 내 LLM 한계…AI의 다음 혁명은 월드 모델"

"지금의 대규모언어모델(LLM) 중심 인공지능(AI)은 향후 5년 내 한계에 도달할 것이다. AI 기술 주도권은 월드 모델 아키텍처가 대체하게 될 것이다"

얀 르쿤 뉴욕대 교수는 27일 서울 용산 드래곤시티에서 열린 'AI 프론티어 국제 심포지엄 2025'에서 기조강연을 통해 "생성형 모델은 세계를 이해하지 못한 채 언어적 패턴을 모사하는 데 머물러 있다"며 "AI가 인간 수준의 지능에 도달하기 위해서는 물리적 세계를 학습하고 예측하는 새로운 구조가 필요하다"고 말했다.

이어 기존 생성형 모델의 한계를 극복할 개념으로 '공동 임베딩 예측 아키텍처(JEPA)'를 제시했다.

AI 프론티어 국제 심포지엄 2025'에서 발표 하는 얀 르쿤 뉴욕대 교수(이미지=과학기술정보통신부)

얀 르쿤 교수는 뉴욕대 쿠란트수학연구소 교수 겸 메타 수석 AI 과학자다. 딥러닝 연구로 2018년 '컴퓨터과학계의 노벨상'으로 불리는 튜링상을 공동 수상했다

그는 "현재의 대규모언어모델(LLM)은 단어의 연속을 예측할 뿐, 실제 세계의 인과관계나 물리적 원리를 이해하지 못한다"고 지적했다. 이어 "AI가 진화하기 위해서는 단순한 텍스트 예측을 넘어 '관찰(Observation)·예측(Prediction)·추론(Reasoning)'이 결합된 월드 모델(World Model) 기반 학습이 필요하다"고 설명했다.

르쿤 교수는 인간의 학습 과정을 예로 들며 "아이들은 수개월 동안 시각과 청각, 촉각을 통해 세상을 관찰하고, 물체가 떨어지는 이유나 움직이는 방향을 스스로 깨닫는다"며 "이러한 자기지도학습(Self-supervised Learning) 과정을 통해 세상의 규칙을 내면화한다"고 말했다. 그는 "AI도 마찬가지로 텍스트만 읽는 것이 아니라, 영상·음성·물리 환경을 함께 경험하며 세상을 예측할 수 있는 모델로 발전해야 한다"며 "텍스트 기반의 학습만으로는 진정한 지능, 즉 세계를 이해하는 능력에 도달할 수 없다"고 강조했다.

이어 "지금의 생성형 모델은 픽셀이나 문장을 세세히 예측하려 하지만, 이는 본질적으로 불가능한 접근"이라며 "예를 들어 영상의 다음 장면을 정확히 예측하려 해도, 현실은 무수한 변수를 가진다. 이 때문에 AI는 모호하고 흐릿한 결과만을 만들어내기 쉽다"고 설명했다.

그는 이를 해결하기 위한 접근으로 '공동 임베딩 예측 아키텍처(JEPA)'를 제시했다. JEPA는 얀 르쿤 교수가 제안한 차세대 인공지능 학습 구조로, 기존 생성형(Generative) 모델의 한계를 극복하기 위한 새로운 접근법이다.

이 구조의 핵심은 AI가 데이터를 단순히 생성하거나 복원하는 데 그치지 않고, 데이터 간의 의미적 관계와 맥락을 학습하는 것에 있다. 이를 통해 AI는 규칙을 예측하고 스스로 판단할 수 있는 지적 시스템으로 진화할 수 있다는 설명이다.

그는 "AI는 모든 세부 정보를 계산하려 하기보다, 추상화된 표현 공간(Representation Space)에서 정보를 학습하고 예측해야 한다"며 "이 표현 공간은 우리가 과학에서 사용하는 '모형화(Modeling)'와 유사하다"고 설명했다.

또한 "과학자들이 복잡한 자연 현상을 양자역학이나 열역학 같은 단순한 법칙으로 모델링하듯, AI도 세상의 복잡성을 추상화하고 단순화해 이해해야 한다"며 "이 과정이 바로 진정한 지능의 핵심이며, 인간이 사고를 확장해온 방식과 동일하다"고 강조했다. 그는 "AI가 이러한 구조를 갖춘다면, 단순히 언어를 모사하는 생성형 모델을 넘어 실제 세계를 '이해하고 예측하는 존재'로 진화할 것"이라고 덧붙였다.

이번 심포지엄은 전 세계 AI 연구 네트워크를 강화하고, 한국이 글로벌 AI 협력의 중심국가로 도약하기 위한 교류의 장으로 마련됐다. 과학기술정보통신부는 AI 기초연구부터 산업 적용까지 폭넓은 논의를 위해 주요 해외 연구기관과 국내 산학연 전문가를 초청해 국제 협력의 기반을 다졌다.