"5초 만에 물성 파악"…KAIST, 시뮬레이션으로 월드 모델 고도화

[AI 페스타 26] 옷, 헝겊 등 높은 난이도의 물성 자동 학습 가능

한국과학기술원(KAIST)이 정밀한 물리 법칙의 시뮬레이션을 기반으로 한 월드 파운데이션 모델(WFM)을 개발한다. 해당 모델은 5초 분량의 짧은 영상만으로 옷·헝겊 등 기존 모델에서는 학습이 어려웠던 물체를 완벽히 파악할 수 있다는 강점이 있다.

KAIST는 서울 코엑스에서 6일부터 8일까지 열리는 'AI 페스타 26'에서 자체 개발 중인 월드 파운데이션 모델을 소개했다.

KAIST의 시뮬레이션 기반 월드 파운데이션 모델의 핵심 기술. (사진=지디넷코리아)

KAIST는 엄격한 물리 법칙 기반의 시뮬레이션을 통한 월드 모델을 개발하고 있다. 로봇이 실제 현장에서 학습을 진행하는 경우 상당한 비용이 발생하지만, 시뮬레이션을 활용하면 비용을 효과적으로 줄일 수 있다는 장점이 있다.

KAIST는 이를 위한 핵심 기술을 ▲PhysHanDI ▲MPMAvatar 두 가지로 제시했다.

PhysHanDI는 사람의 손이 헝겊 등 잘 변형되는 물체를 만지고 조작할 때, 복잡한 3D 형상과 물리적 성질을 복원하는 기술(Recon & ReSim)을 갖췄다. 덕분에 5초 길이의 짧은 영상만으로도 3차원 공간을 인식하고, 물체의 재질·형태·중력·속도 등을 반영해 미래에 일어날 변형과 움직임을 정밀하게 예측할 수 있다.

MPMAvatar는 옷을 입은 사람의 3D 아바타를 복원하고, 몸의 움직임이나 외부 환경 변화에 따른 옷의 물리적 흔들림 및 충돌을 사실적으로 표현하는 기술이다.

헝겊, 옷과 같은 비정형 물체는 물리적 충격에도 형태가 크게 변하지 않는 딱딱한 물체 대비 학습이 어려울 수밖에 없다. KAIST의 두 기술을 활용하면, 이러한 난제를 보다 쉽게 해결할 수 있을 것으로 기대된다.

KAIST 관계자는 "실제 물리 법칙을 모델링하는 시뮬레이션으로 더 정확한 월드 모델을 제안하고 있다"며 "사람이 직접 정보를 알려주지 않아도 알아서 물성을 배운다는 점이 강점"이라고 말했다.

한편 KAIST는 해당 모델을 LG전자가 주관하는 '피지컬 AI 모델 학습을 위한 월드 파운데이션 모델 기술개발' 사업을 통해 개발하고 있다.