WUWENAI가 로봇 AI의 ‘수백만 시간 데이터’ 병목에 도전하는 방식

WUWENAI의 출발점은 단순하다. 체화형 AI(embodied AI)는 시연 영상을 많이 모으는 것만으로는 확장되기 어렵다는 판단이다. 로봇이 물체를 집고, 밀고, 놓고, 실패를 복구하는 법을 배우려면 영상뿐 아니라 행동, 접촉, 힘, 공간 변화가 함께 담긴 데이터가 필요하다.

바이두에서 자율주행 데이터 및 테스트 업무를 이끌었던 류성샹(Liu Shengxiang)이 설립·경영하는 WUWENAI는 이 문제를 데이터 수집 장비 하나가 아니라 하나의 인프라 구조로 풀겠다는 구상을 내놓았다. 회사가 말하는 ‘가상-현실 융합 폐쇄루프’는 현실의 상호작용을 가상 세계 모델에 학습시키고, 가상 세계에서 대규모 실험을 수행한 뒤, 중요한 실패와 엣지 케이스를 다시 현실의 데이터 수집으로 되돌리는 Real-to-Sim-to-Real(R2S2R) 방식이다. 8

세 개의 층으로 구성된 데이터 루프

1. Data Factory: 현실에서 물리적 근거를 수집한다

첫 단계는 실제 환경에 설치한 멀티모달 수집 시스템이다. 이 장비는 로봇과 물체가 상호작용하는 동안 시각 정보, 움직임, 접촉 신호, 작업 성공 여부 등을 시간에 맞춰 기록한다.

이렇게 모은 데이터는 단순히 화면상으로 그럴듯한 장면을 만드는 데 목적이 있지 않다. 로봇 제어에 필요한 ‘무엇을 봤는가’와 ‘어떤 행동을 했는가’, 그리고 그 결과 물체와 환경이 어떻게 변했는가를 함께 확보하려는 것이다. 일반적인 웹 영상이나 합성 장면만으로는 얻기 어려운 물리적 인과관계를 담으려는 접근이다.

WUWENAI는 저장성 더칭에 구축한 물리적 AI 데이터 플랫폼 ‘Wuyin’에 1,000TB가 넘는 데이터와 1만 시간의 공개 고품질 데이터셋이 있다고 밝혔다. 이는 회사가 데이터 수집을 개별 로봇 프로젝트가 아니라 공유 가능한 기반 계층으로 만들려 한다는 점을 보여준다. 다만 이 수치는 회사가 공개한 주장이다. 12

2. Generative World Model: 적은 현실 경험을 수많은 상황으로 확장한다

두 번째는 생성형 World Model, 즉 세계 모델이다. 세계 모델은 장면의 현재 상태와 시간에 따른 변화를 압축적으로 학습하는 신경망이다. 로봇이 특정 행동을 했을 때 다음 순간에 어떤 일이 일어날지 예측하는 것이 핵심이다. 5

현실 데이터로 근거를 확보한 세계 모델은 같은 작업에 다양한 변형을 만들어낼 수 있다. 물체의 위치나 모양을 바꾸거나, 장애물을 추가하고, 예상치 못한 흔들림을 넣거나, 실패할 가능성이 높은 행동을 시험하는 식이다. 이렇게 하면 현실에서 모든 경우의 수를 직접 재현하지 않고도 정책이 마주칠 수 있는 상황의 폭을 넓힐 수 있다.

중요한 점은 ‘그럴듯한 영상 생성’과 ‘로봇이 실제로 실행할 수 있는 미래 예측’이 같지 않다는 사실이다. 시각적으로 자연스러운 장면이라도 접촉 역학이나 물체의 무게, 마찰을 잘못 표현하면 로봇 학습에는 오히려 해가 될 수 있다.

3. World Simulator: 학습·평가·데이터 선별을 가상으로 수행한다

세 번째는 세계 시뮬레이터다. 로봇 정책을 실제 하드웨어보다 훨씬 빠르고 저렴하게 반복 실행하면서 성공률과 실패 유형을 평가하고, 어떤 상황을 추가로 현실에서 수집해야 할지 선별하는 역할을 맡는다.

최근 연구는 행동에 조건화된 인터랙티브 시뮬레이터가 실제 로봇의 시연 데이터를 대체할 수 있는 확장 가능한 수단이 될 가능성을 보여준다. 시뮬레이터 안에서 측정한 정책 성능이 현실 성능과 일정 부분 상관관계를 보였다는 보고도 있다. 그러나 이는 아직 해결된 기술이라기보다 활발히 검증 중인 연구 과제다. 3

‘수백만 시간’은 어떻게 가능한가

류성샹의 주장은 WUWENAI가 로봇을 현실에 배치해 수백만 로봇 시간을 직접 기록하겠다는 뜻이 아니다. 상대적으로 적은 양의 물리적 상호작용 데이터를 씨앗 데이터셋으로 삼아, 세계 모델이 통제 가능한 가상 훈련 궤적을 대량으로 생성한다는 의미에 가깝다.

현실 루프는 시뮬레이터가 실제와 어긋나는 현상, 즉 모델 드리프트를 줄인다. 반대로 가상 루프는 실제 하드웨어를 매번 움직이는 데 드는 시간과 비용 없이 다양한 행동과 실패를 반복하게 해준다. 현실이 정확도를 보정하고 가상이 규모를 제공하는 구조다.

이처럼 실제 로봇의 실행 결과와 세계 모델이 생성한 합성 경험을 연결해 정책을 개선하는 방식은 최근의 폐쇄루프 로봇 강화학습 연구 흐름과도 맞닿아 있다. 4

기존 세 가지 데이터 수집 방식의 한계

WUWENAI가 해결하려는 문제는 기존 접근법이 쓸모없다는 것이 아니라, 각각의 방식만으로는 범용적인 로봇 행동을 학습하기 어렵다는 데 있다.

• 원격조작(teleoperation): 사람이 로봇을 직접 조종하기 때문에 행동 라벨이 분명한 시연 데이터를 얻을 수 있다. 하지만 비용과 시간이 많이 들고, 작업자의 숙련도에 의존한다. 무엇보다 성공적인 행동에 데이터가 편중되기 쉬워 드문 실패나 ‘다르게 행동했다면 어떻게 됐을까’라는 반사실적 상황을 충분히 다루기 어렵다.
• 사람의 1인칭 영상: 규모를 확보하기에는 유리하지만, 일반적으로 로봇의 실제 행동 명령, 보정된 공간 정보, 힘·접촉 신호, 로봇의 신체 구조와 직접 대응하는 동작 정보가 부족하다. 따라서 조작 제어를 위한 감독 신호로는 한계가 있다.
• 순수 시뮬레이션: 저렴하고 다양한 상황을 만들 수 있지만, 기하학적 구조, 접촉 역학, 센서 잡음, 물체의 움직임, 실제 인간 환경을 잘못 모델링할 수 있다. 이것이 이른바 ‘sim-to-real 격차’다. 현실 관측에 맞춰 디지털 트윈을 지속적으로 조정하는 방식은 이 격차를 줄이기 위한 시도다. 2

모방학습에서 강화학습으로

시연 데이터는 모방학습의 출발점이다. 정책은 우선 ‘시연자가 한 대로 하라’를 배운다. 하지만 신뢰할 수 있는 행동 조건부 시뮬레이터가 있다면 로봇은 시연자가 보여주지 않은 선택지도 시험할 수 있다.

정책은 가상 환경에서 작업 보상을 받고, 더 긴 시간의 행동 순서를 최적화하며, 실패한 뒤 회복하는 방법을 학습할 수 있다. 이것이 모방학습에서 강화학습으로 넘어가는 핵심 변화다.

최근에는 세계 모델 안에서 시각-언어-행동(VLA) 정책을 강화학습으로 미세조정하는 연구도 제시됐다. 다만 실제 적용을 좌우하는 요소는 여전히 두 가지다. 하나는 성공과 실패를 제대로 구분하는 견고한 보상 설계이고, 다른 하나는 세계 모델이 접촉이 많은 장기 작업의 결과를 얼마나 정확하게 예측하느냐다.

World Labs·테슬라·딥마인드와의 경쟁 구도

이 분야의 경쟁은 특정 기능 하나를 먼저 내놓는 단순한 제품 경쟁이라기보다, 비슷한 시스템 구조로 수렴하는 양상에 가깝다.

World Labs의 SceniX도 하나의 실제 작업을 여러 개의 제어 가능하고 재사용 가능한 가상 세계로 바꿔 로봇 정책을 훈련하고 평가하는 R2S2R 엔진을 설명하고 있다. 6 구글 딥마인드는 학습한 동역학 모델을 활용해 강화학습을 확장하는 세계 모델 연구를 꾸준히 진행해왔다. 3

테슬라의 휴머노이드 로봇 Optimus는 하드웨어 반복 개발, 제조 역량, 대규모 데이터·컴퓨팅 생태계에서 강점을 갖는다. 그러나 공개된 자료만으로 WUWENAI가 테슬라나 딥마인드보다 기술적으로 앞서 있다고 단정할 근거는 부족하다. WUWENAI가 경쟁사보다 수개월 앞섰다는 주장 역시 회사 및 관련 보도의 주장으로 봐야 한다.

중국의 로봇 산업이 제공하는 기회

중국은 세계 최대 규모의 산업용 로봇 설치 기반을 갖고 있으며, 휴머노이드 로봇 산업을 확대하는 동시에 로봇 공급망의 현지화도 추진하고 있다. 17 중국 내 체화형 AI 산업 역시 소규모 시험 단계에서 더 넓은 상용 배치 단계로 이동하고 있다는 평가를 받고 있다. 19

이 환경은 데이터 인프라 기업에 잠재적인 규모를 제공한다. 공장, 로봇, 작업 유형, 실제 배치 환경이 국내에 많이 존재한다면, WUWENAI는 여러 로봇 제조사에 필요한 현실 근거 데이터를 수집하고 공용 개발 도구를 제공하는 플랫폼 사업을 노릴 수 있다.

진짜 시험대는 ‘현실 전이’다

WUWENAI의 구상은 로봇 AI의 가장 큰 병목 중 하나인 물리적 상호작용 데이터를 가상 생성으로 확장하려는 시도다. 성공한다면 값비싼 현실 실험을 줄이면서도 실패 사례와 장기 작업 데이터를 더 빠르게 확보할 수 있다.

하지만 세계 모델이 만든 데이터가 많다는 사실만으로는 충분하지 않다. 시뮬레이터가 실제 접촉과 장기 행동의 결과를 정확히 예측해야 하고, 그 안에서 학습한 정책이 서로 다른 로봇, 물체, 공장과 환경에서도 일관되게 작동해야 한다.

따라서 WUWENAI가 ‘세계적 물리적 AI 인프라 기업’인지 판단하려면 데이터 용량이나 홍보 문구보다 시뮬레이터의 현실 예측 정확도와 반복 가능한 전이 성능을 봐야 한다. 현재 공개 자료는 흥미로운 방향성을 보여주지만, 세계 최고 수준이나 경쟁사 대비 우위를 입증하는 독립 검증 결과까지 제시한 것은 아니다.