"로봇 개념 바뀐다…데이터는 금 같아"

"로봇의 개념이 바뀌기 시작했습니다. 원래 감각·계획·행동 세 가지 요소가 모두 필요했지만, 최근에는 엔드투엔드 러닝 방식이 등장하면서 이전까지 로봇으로 할 수 없던 일들이 가능해지고 있죠."

데니스 홍 미국 캘리포니아대학교 로스엔젤레스(UCLA) 기계항공공학과 교수는 5일 서울 JW메리어트호텔에서 열린 '월드푸드테크포럼 2025(WFT25)'에서 로봇공학이 최근 1~2년 사이 마주한 기술적 변곡점을 소개했다.

'엔드투엔드 러닝'은 카메라가 어떤 장면을 보기만 하면, 중간 계산 단계 없이 바로 로봇 팔이 동작하는 구조다. 인식부터 판단·행동하는 전통적 단계가 사라진 것이다. 센서·판단·모터 제어가 모두 별개 모듈이던 기존 방식에서 센서에서 액추에이터까지 뭉뚱그려지게 됐다는 설명이다.

홍 교수는 이 패러다임 변화가 생성형 인공지능(AI)의 발전 방식과 동일하다고 분석했다. 텍스트 데이터를 쏟아부어 챗GPT가 나오고, 이미지·영상 데이터를 학습해 그림·영상을 만들어내는 것처럼, 로봇도 데이터를 계속 투입하면 인간이 설계하지 않은 행동을 스스로 학습하게 된다는 설명이다.

데니스 홍 미국 캘리포니아대학교 로스엔젤레스(UCLA) 기계항공공학과 교수가 5일 서울 JW메리어트호텔에서 열린 '월드푸드테크포럼 2025(WFT25)'에서 발표하고 있다. (사진=지디넷코리아 신영빈 기자)

"데이터가 금입니다."

그는 로봇 분야가 안고 있는 근본적 병목을 강조했다. 문제는 로봇이 움직이기 위해 필요한 물리 데이터가 인터넷에 존재하지 않는다는 점이다. 사람의 걷기 동작을 학습시키려면 관절의 위치·속도·가속도·충격·마찰 같은 데이터가 필요하다. 홍 교수는 "그런 데이터는 실제로 존재하지 않는다"고 단언했다.

그래서 현재 활용되는 물리 데이터 확보 방식은 각기 뚜렷한 한계를 갖고 있다.

먼저 시뮬레이터 데이터다. 엔비디아 등 글로벌 기업들이 시뮬레이션 안에서 수천 대의 로봇을 동시에 학습시키는 방식을 공개하며 주목받고 있지만, 홍 교수는 "시뮬레이션은 현실과 똑같을 수가 없다"라는 점을 지적했다. '시뮬레이션-현실 차이(심투리얼 갭)'이 해결되지 않으면 실제 휴머노이드 로봇에 적용하기 어렵다는 의미다.

사람의 원격조종(텔레오퍼레이션) 데이터도 의미 있는 자산이다. 가상현실(VR0 헤드셋과 장갑을 착용해 사람이 로봇을 직접 움직이며 데이터를 수집하는 방식은 실제 로봇 상태를 그대로 얻는다는 점에서 이상적이다. 하지만 홍 교수는 "수백 명, 수천 명이 몇 년 동안 해야 한다"는 현실적 제약을 언급했다.

세 번째로 유튜브 등 영상 기반 데이터도 활용된다. 다만 요리·칼질·청소 등 수많은 인간 작업 영상이 존재하지만 "영상으로 모션을 볼 수 있지만 어떤 물리적인 건 우리가 알 수가 없다"며 한계를 분명히 했다. 물리적 힘, 마찰, 충격량 같은 요소는 영상에 나타나지 않는다는 것이다.

로봇이 스스로 수천 번 시도해 데이터를 모으는 방식도 있다. 그러나 특히 보행 로봇은 넘어질 때마다 장비 손상·비용 문제가 발생해 지속적 데이터 확보가 어렵다.

홍 교수는 최근 큰 관심을 받은 휴머노이드 업체 1X의 가정용 로봇 '네오'를 언급하며 물리 데이터 확보의 현실을 보여줬다. 그는 "첫날부터 청소도 해주고 빨래도 해주지만, 실제로는 전부 사람이 무선 조종을 한 것"이라고 설명했다.

그러면서 "각 가정에서 수집되는 실사용 데이터를 기반으로 장기적 자율화를 준비하는 전략이라고 해석해야 한다"고 강조했다.

"왜 휴머노이드인가"

휴머노이드 로봇이 글로벌 테크기업들의 차세대 시장으로 부상하고 있는 이유도 설명했다. 홍 교수는 건축가 루이스 설리번의 '형태는 기능을 따른다'는 말을 인용하며 다음과 같이 말했다.

"이 환경은 사람이 사람을 위해서 만든 것이죠." 집·식당·키친·창고·마트 등 대부분의 환경은 사람을 기준으로 설계됐다. 문고리 위치, 서랍 손잡이, 계단 높이, 조리대·싱크대 높이 등 모두 인간 신체 비율에 맞춰져 있다.

한 가지 작업만 수행하는 로봇은 기능에 최적화된 형태로 만들 수 있지만, 여러 작업을 수행하는 범용 로봇은 사람과 유사한 형태가 유리하다는 것이다.

특히 푸드테크 산업의 주방·매장 환경은 사람 손과 신체 동작을 전제로 만들어져 있기 때문에 "기존 인프라를 바꾸지 않고 자동화를 투입해야 한다면 휴머노이드가 가장 현실적인 폼팩터"라고 설명했다.

홍 교수는 휴머노이드 기술의 가능성을 인정하면서도, 단점과 현실적 제약을 짚었다. 아직은 너무 비싸고 복잡하다는 점, 세척이 어려운 점 등 주방 특성 대응에 기술적 난제가 많다는 설명을 덧붙였다.

속도가 중요하거나 이미 자동화가 잘 돼 있는 공정에는 기존 산업용 로봇이 훨씬 적합하다는 것이다. 그는 "장점만 보지 말고, 어디에 쓰고 어디에 쓰지 말아야 할지 구분해야 한다"고 강조했다.

"AI가 무조건 답은 아냐"

홍 교수는 UCLA 연구실에서 진행 중인 실험을 소개했다. 동일한 휴머노이드 로봇 두 대를 두고 한 팀에는 물리 법칙과 수학 모델에 기반한 '모델 기반 제어'를, 다른 팀에는 강화학습 등 '러닝 기반 제어'를 맡겨 걷기 성능을 비교하는 프로젝트다.

두 방식 모두 일정 수준 성과를 냈지만, 그는 전통 제어 방식에 대해 "로봇이 어떻게 걷는지 이해하기 때문에 로봇이 넘어지고 고장 나면 왜 그랬는지 안다"라고 설명했다. 반면 러닝 기반 방식은 "로봇이 걷게 만들기는 했지만, 우리는 어떻게 걷는지를 모른다"며,인간의 지식으로 일반화하기 어렵다는 점을 지적했다.

홍 교수는 "AI 기술이 중요하다"라고 인정하면서도 "하지만 AI만 생각하다 보면 다른 방식으로 해결할 수 있는 기회를 놓치는 경우가 많다고 생각한다"라고 강조했다. 문제의 본질을 먼저 정의하고, 생성형·피지컬 AI와 전통 공학적 접근 사이에서 어떤 도구를 어디에 쓸지 선택하는 것이 로봇과 푸드테크 산업 모두에게 중요한 과제가 됐다는 메시지다.

"할리우드가 주목한 로봇공학"

한편 홍 교수는 UCLA로 옮긴 뒤 10년 넘게 로봇공학과 할리우드 영화 산업을 연결하려는 시도를 해왔다고 소개했다. 그는 실제 로봇을 활용해 영화를 제작하자고 여러 유명 감독·프로듀서를 만나 제안했지만, "컴퓨터 그래픽(CG)으로 다 해결할 수 있다"는 이유로 매번 거절당했다고 말했다.