로봇이 물체를 집고 옮길 때, 동작을 내놓기 전에 그 결과를 먼저 그려볼 수 있을까. 로보테라의 월드 액션 모델 VPP2(Video Prediction Policy 2)는 영상으로 다음 장면을 예측하고, 그 예측을 바탕으로 로봇 동작을 생성하는 방식이다.
회사는 VPP2가 RoboDojo 시뮬레이션 리더보드에서 평균 성공률 32.26%, 평균 점수 39.26을 기록했다고 밝혔다. 일반화·정밀 조작·기억 항목에서도 선두를 차지했다는 설명이다. 별도의 실제 로봇 평가에서는 ALOHA 양팔 로봇의 과제 10종을 대상으로 제로샷 평균 성공률 **58.5%**를 보고했다. 주목할 만한 결과지만, 이 수치만으로 VPP2가 물류 현장 등에 대규모로 배치됐다고 볼 수는 없다.
2
6
RoboDojo가 평가하는 것
홍콩대 MMLab과 학술 협력기관들이 함께 만든 RoboDojo는 양팔 로봇 조작 과제 42개를 평가한다. 과제는 낯선 조건에 대응하는 일반화, 정밀한 조작, 긴 동작의 연속 수행, 기억, 개방형 어휘 지시 따르기 등을 살핀다. 벤치마크는 과제 성공 여부뿐 아니라 평균 점수도 제시한다.
5
6
VPP2의 32.26% 성공률과 39.26점은 RoboDojo의 시뮬레이션 리더보드 성적이다. 시뮬레이션과 실제 환경 리더보드는 분리돼 있으므로, 이 결과를 RoboDojo의 모든 평가에서 1위라는 뜻으로 확대해서는 안 된다.
2
6
비교 대상으로 제시된 후학습 평가에서 GPT-6-Astra는 성공률 22.48%, 평균 점수 28.97을 기록했다. 해당 비교에서 VPP2는 성공률 기준 9.78%포인트, 평균 점수 기준 10.29점 앞섰다. 이는 인용된 평가 설정 안에서의 비교이지, 모든 로봇 과제에서의 보편적인 순위를 뜻하지는 않는다.
6
순위에는 시점도 중요하다. RoboDojo 이력에는 Simate-beta가 먼저 등록된 기록이 있고, VPP2는 10월 8일 시뮬레이션 리더보드에 추가됐다. 따라서 ‘1위’는 특정 시점과 리더보드에 관한 표현으로 읽어야 한다.
12
‘추가 데이터 없이’의 의미
로보테라는 벤치마크 결과를 추가 데이터나 에이전트 기반 강화 자기개선 없이 얻었다고 밝혔다. 다만 이를 VPP2가 폭넓은 영상 데이터로 학습하지 않았다는 뜻으로 이해하면 안 된다. 공개된 방법 설명에 따르면 VPP2는 Wan2.1-I2V-14B 사전학습 모델을 기반으로, 로봇 조작·사람의 활동·일반 영상 등 다양한 영상으로 추가 사전학습을 진행했다.
25
9
11
즉 ‘추가 데이터 없음’이라는 주장은 발표된 벤치마크 결과와 별도의 자기개선 절차에 관한 것이다. 영상 예측 능력을 기르는 과정에는 정리된 영상 데이터가 사용됐다.
9
11
영상을 먼저 배우고, 동작은 나중에
VPP2의 핵심은 영상 예측을 먼저 학습하고 속도를 높인 다음, 로봇 동작 생성을 붙이는 3단계 방식이다. 예측한 미래 장면을 동작 선택에 활용하면서, 동작 학습이 기존 영상 모델의 일반화 능력을 훼손할 위험을 줄이려는 설계다.
9
11
- 조작 장면 예측을 학습한다. Wan2.1-I2V-14B를 바탕으로 로봇 조작, 사람의 활동, 일반 영상 데이터를 활용해 영상 사전학습을 이어간다. 영상에는 자세한 설명을 붙이고 의미 있는 사건 단위로 구성해, 다양한 조작 상황을 예측하도록 학습한다.
9
11
- 예측을 빠르게 만든다. 고정된 8초 예측 구간으로 후학습한 뒤, 일관성 증류를 적용해 여러 단계를 거치는 영상 생성을 한 번의 생성으로 압축한다. 보고된 영상 예측 지연 시간은 약 0.12초다.
11
18
- 예측을 동작으로 연결한다. 영상 모델에 9억 개 파라미터의 Action DiT를 더하고, 혼합 트랜스포머 구조로 연결한다. 설명된 학습 설정에서는 초기에 영상 백본을 고정하고 동작 모듈에 LoRA 적응을 적용해 영상 모델의 예측 표현을 보존하려 한다.
4
11
보고된 동작 생성 시간은 2초 분량 동작 구간 기준 약 0.1초다. 영상 예측 약 0.12초와 합치면 설명된 설정에서 총 약 0.22초다. 이는 실험에서 보고된 시간이며, 어떤 하드웨어에서도 동일하게 나오는 속도를 보장하는 수치는 아니다.
11
21
실제 로봇과 LIBERO 평가
실제 ALOHA 양팔 로봇에서는 과제 유형 10종에 대해 평균 58.5% 제로샷 성공률을 기록했다고 보고됐다. 같은 평가에서 Physical Intelligence의 pi0.5는 40%로, 차이는 18.5%포인트다. 실제 로봇 결과는 RoboDojo 시뮬레이션 성적과 평가 조건이 다르므로 두 수치를 직접 같은 기준처럼 비교할 수는 없다.
2
6
공식 저장소에는 LIBERO-Pro 45.00%, 수정된 LIBERO-OOD 프로토콜 **63.93%**의 결과가 기재돼 있다. 특히 OOD 수치는 수정된 프로토콜을 사용했으므로 다른 평가 설정의 결과와 비교할 때 이 점을 고려해야 한다.
17
공개와 현장 배치는 다른 문제
VPP2 공식 GitHub 저장소에는 구현 및 공개 관련 자료가 있다. 공개 기록에 따르면 영상 모델 가중치는 10월 10일 공개됐고, RoboDojo 이력 조건부 영상 학습 코드는 10월 12일 공개 안내가 올라왔다. 한 번에 모든 구성 요소가 공개된 것이 아니라 단계적으로 배포된 셈이다.
3
22
현재 확인되는 자료는 보고된 벤치마크 성적, 실제 로봇 시험, 오픈소스 공개를 뒷받침한다. 하지만 VPP2 자체가 상업 물류 현장에서 대규모로 운영되고 있다는 점까지 입증하지는 않는다. 로보테라의 다른 현장 사업이나 로봇 배치 사례가 확인되더라도, 그 시스템이 VPP2를 구동한다는 근거와는 구분해야 한다.