Thinker-WM 想解決什麼問題?
優必選的 Thinker-WM 是一種多模態世界模型,目標是一起建模並生成 RGB 影片、度量深度與機器人動作。換句話說,它不只預測畫面,也把場景幾何與機器人如何行動納入同一套模型。arXiv 論文描述的核心,是各模態使用專屬編碼器與解碼器,中間則共用 Unified Dynamics Transformer。
1
這種設計的重點不在於把所有輸出變成同一種資料,而是在共同表徵中聯合建模外觀、幾何與動作,同時保留各自不同的輸出形式。論文指出,視覺動態、幾何結構與可執行動作,過去常透過不同介面或下游模組串接;Thinker-WM 則嘗試讓它們在共用的動態模型中一起演進。這說明了採用統一架構的研究動機,但現有資料不足以證明它在部署效率或運算成本上一定更有優勢。
1
8
架構怎麼把三種模態接在一起?
流程可以簡化成三步:
- 分別編碼: RGB 影片、度量深度與機器人動作,各自經過對應的編碼器。
- 共享建模: 不同模態進入共用的潛在表徵,由 Unified Dynamics Transformer 聯合處理。
- 分別解碼: 模型可再輸出影片、深度圖或機器人動作;不同輸出的結構仍各自保留。
1
對機器人而言,這樣做的研究方向,是讓模型在表示場景變化時,也能同時納入空間幾何與動作資訊;不過,共用表徵本身並不等同於已證明模型具備可靠的實體理解或控制能力。
優必選公布的三項基準成績
以下成績來自優必選公布及相關報導,屬於公告時的公司成績說法,並非本文對最新排行榜的獨立查核。優必選於 2026 年 10 月 16 日公布 Thinker-WM 的評測結果;相關報導於 10 月 17 日刊出。
2
7
- WorldOlympiad: 綜合分數 0.740,其中 3D 一致性為 0.531、互動保真度為 0.765;報導稱兩項分項成績均居參賽者之首。該基準使用真實機器人互動資料,涵蓋十多種機器人本體與多種相機配置,著重測試跨機器人形態與跨視角的泛化能力。
6
7
- EWMBench: 公布總分 4.66,並稱排名第一。另一則報導稱其成績高於 Qwen-RobotWorld 與 Sora 2,且在軌跡匹配和動力學相關指標上表現領先;現有摘錄未提供這些模型的完整對照分數或 Thinker-WM 的分項數值。
6
13
- WorldArena 1.0 Track-1: 報導稱 Thinker-WM 在 12 個評估面向整體領先。相關報導將此賽道描述為仿真環境評測,但目前可見資料未列出 12 個面向的完整分數,也不足以進一步核實評測設置。
3
6
深度作為原生輸出:消融測試結果
一則 10 月 17 日的報導指出,在 RoboTwin 單一任務測試中,加入深度後的成功率提高了 15 個百分點。這是絕對增幅,不是相對提升 15%;現有摘錄沒有提供加入前後的成功率,因此無法據此還原實際基準值。
16
訓練資料與其他尚待確認的細節
優必選的模型卡摘要列出約 20,000 小時的第一人稱資料,以及約 10,000 小時的機器人資料,合計約 30,000 小時。摘要還提到一項約 4,000 小時的資料子類別,但摘錄內容不完整,因此無法可靠判定真實機器人資料與仿真資料的細分。
4
公開報導也提及單一模型涵蓋六種能力,但目前摘錄沒有完整列出各模式的輸入與輸出組合,因此無法確認六種模式的完整清單,也不宜據此細分影片轉動作與逆向動力學等功能。
6
同樣地,現有資料不足以確認人類第一人稱資料在居家、零售或工廠場景的分布,也無法完整核實末端位姿動作格式、機器人本體標籤、Data Factory 的資料抽樣與分層品管流程,或深度與影片的對齊方式。
關於動作探針實驗,目前也缺少足夠資訊確認探針如何在凍結的視覺特徵上訓練、末端位移預測結果及比較基準。即使視覺特徵能推回部分與動作相關的位移,也只能說明特徵含有運動資訊,不能單憑這項結果證明模型已掌握因果物理規律,或能穩定控制機器人。
總結來說,Thinker-WM 的架構主張與公告中的主要基準成績有資料可循;但六種模式的完整定義、資料管線細節與動作探針實驗,仍需更多完整資料才能判斷。