"테슬라도 못한 손재주…'로봇 학습' 돌파구 연다"

류중희 리얼월드 대표, 국회 세미나서 '4D+ 모션 캡처' 소개

디지털경제입력 :2025/09/19 13:14    수정: 2025/09/19 14:10

"테슬라 옵티머스가 걷고 뛰니까 대단하다고 생각하지만 그걸로는 공장에서 돈을 벌 수 없습니다. 일론 머스크도 못 푼 손재주 문제를 우리가 풀겠습니다."

리얼월드가 로봇 학습의 새로운 방법론으로 '4D+ 모션 캡처'를 제시하며 피지컬 인공지능(AI) 시대의 데이터 전략을 공개했다. 텔레오퍼레이션(원격 조작)에 의존하는 기존 방식의 한계를 짚고, 사람·손·환경을 통합적으로 캡처하는 데이터가 실제 산업 현장에서 쓸 수 있는 로봇 지능을 만들어낼 수 있다고 강조했다.

류중희 리얼월드 대표는 19일 국회도서관에서 열린 'AI 인사이트 포럼 피지컬 AI' 발표에서 "로봇은 결국 인간의 노동을 대체하기 위해 존재한다"며 "그 노동의 본질은 걷기보다 손으로 하는 작업, 즉 덱스터리티(손재주)에 있다"고 말했다.

류중희 리얼월드 대표가 19일 19일 국회도서관에서 열린 'AI 인사이트 포럼 피지컬 AI'에서 발표하고 있다. (사진=지디넷코리아 신영빈 기자)

그는 "한국·독일처럼 자동화가 많이 된 지역에서 대략 75%까지 로봇이 대신 일하고 있지만 나머지 25%는 여전히 사람이 손으로 하는 작업"이라며 "이 부분을 로봇이 대체해야 진짜 부가가치가 발생한다"고 지적했다.

현재 많은 기업이 로봇 학습을 위해 텔레오퍼레이션(사람이 로봇을 원격 조종해 데이터를 수집하는 방식)을 활용한다. 하지만 류 대표는 이 접근법이 구조적 한계를 안고 있다고 설명했다.

류 대표는 "로봇을 조작할 줄 아는 전문가는 현장 경험이 부족하고, 현장 숙련공은 로봇 조작을 못한다"며 "결국 원하는 산업 노하우를 반영하기 어렵다"고 꼬집었다.

류중희 리얼월드 대표가 19일 19일 국회도서관에서 열린 'AI 인사이트 포럼 피지컬 AI'에서 발표하고 있다. (사진=지디넷코리아 신영빈 기자)

더 큰 문제는 로봇 하드웨어가 업그레이드될 때마다 데이터를 다시 쌓아야 한다는 점이다. 류 대표는 "로봇도 빠르게 진화하는데, 텔레오퍼레이션 데이터는 기계가 바뀌면 그대로 폐기해야 한다"며 "중국이 '로봇 굴기'라며 대규모 원격조작 데이터를 모으고 있지만, 사실상 '로봇 낭비(웨이스팅)'에 가깝다"고 꼬집었다.

리얼월드가 제안하는 대안은 '4D+ 모션 캡처'다. 다수의 카메라(약 12대)를 설치해 사람의 전신 움직임을 3D로 기록하고, 시간축을 더해 동작의 연속성을 확보한다. 여기에 장갑형 센서를 활용해 손가락 20여 자유도의 미세 동작까지 포착하고, 주변 환경과 상호작용하는 정보까지 포함해 데이터를 쌓는다.

류 대표는 "사람·손·환경 전체를 캡처해야 케이블을 꽂고, 부품을 조립하는 실제 작업 맥락을 학습시킬 수 있다"며 "이 데이터는 특정 로봇에 종속되지 않고 재사용할 수 있어, 하드웨어가 바뀌어도 계속 활용 가능하다"고 강조했다.

류중희 리얼월드 대표가 19일 19일 국회도서관에서 열린 'AI 인사이트 포럼 피지컬 AI'에서 발표하고 있다. (사진=지디넷코리아 신영빈 기자)

리얼월드는 이 데이터를 기반으로 고자유도(15자유도 이상) 로봇 손을 제어할 수 있는 피지컬 AI 모델을 개발 중이다.

류 대표는 “테슬라 옵티머스 같은 로봇은 손 자유도가 6에 불과해 실제 작업에 투입하기 어렵다”며 “우리는 사람 손에 가까운 자유도를 가진 하드웨어와, 이를 제어할 수 있는 실시간 지능을 함께 설계하고 있다”고 말했다.

관련기사

그는 또 대규모 언어모델(LLM)과 피지컬 AI의 차이도 언급했다. "LLM은 느려도 사람들이 기다려줄 수 있지만, 로봇은 0.1초만 버벅여도 물건을 떨어뜨린다"며 "LLM의 DNA를 그대로 쓴 비전·언어·액션(VLA) 모델은 한계가 있다. 우리는 실시간성을 확보하는 새로운 구조를 설계하고 있다"고 설명했다.

마지막으로 류 대표는 "한국은 제조업 현장 경험과 데이터를 가진 나라"라며 "영어에 강한 미국, 인구 규모를 앞세운 중국과 달리 한국의 강점은 '제조'라는 언어를 원어민처럼 구사하는 데 있다. 피지컬 AI야말로 우리가 추월차선으로 도전할 수 있는 영역"이라고 강조했다.