X Square Robot 開源的 HOST(Human-to-robot One-Shot Skill Acquisition)最值得留意之處,並不是機械人突然已經學識處理所有家務,而是它將學習一項新實體技能,變得更似接受一個提示(prompt),而不是每次都要另開一個訓練工程。
在研究團隊公布的測試中,機械人觀看一段平均 29 秒的人類示範影片後,平均成功率為 62%。作為比較,基於 Pi-0.5 系統的方案,約以 50 段機械人示範及 4 小時微調後,成功率為 38%。這些數字來自研究團隊自己的實驗設定,不能直接當作實際部署時的可靠度。
18
34
由「重新訓練」轉向「推理時適應」
傳統模仿學習通常是每遇到一項新任務,就要重新收集示範資料,再進行最佳化或微調。過程不但要佔用遙距操控(teleoperation)時間,亦會令機械人長時間停機;如果反覆更新模型,還可能影響它原本已經掌握的行為。
HOST 將適應發生的位置搬到推理階段。它的預訓練模型權重保持不變,示範影片則在機械人執行任務時,充當針對該任務的上下文。這種做法更接近「上下文學習」(in-context learning),而不是透過梯度更新,將一項新技能永久寫入模型。過往機械人研究亦曾探索類似方向:模型可以根據觀察—動作歷史調整行為,而毋須更新權重。
20
實際上,HOST 的承諾是縮短「示範一次」到「機械人開始嘗試」之間的距離。不過,這不代表機械人在 29 秒內由零開始學懂所有物理原理。更準確的說法是:一個已經透過大量資料預訓練的技能先驗,利用一段影片去選定、對應及執行一項新任務。
點解 HOST 唔係直接複製人類動作?
人類和機械人並沒有相同的攝影機位置、手掌形狀、關節結構、伸手距離或動作速度。若直接搬運影片像素,或者照抄人類的關節軌跡,遇到不同身體形態和環境時,系統很容易失準。
HOST 採用的是一個「自我定位預測」的級聯流程。框架先估計示範者在任務中的進度,再預測相同進度從機械人自身視角看起來會是甚麼樣子,最後根據這些預測到的觀察結果,推導出機械人應該執行的動作。
18
當中的三個部分,分別處理動作轉移的不同難題:
- 視覺模組:從以機械人為中心的感知角度,理解示範中的任務及預期結果。
- 動作生成模組:將預測到的結果轉化為機械人可以實際執行的行為。
- 動態時間校正(dynamic time warping):當人類和機械人以不同速度完成同一階段時,協助對齊兩者的對應進度。
關鍵分別在於,機械人不需要重現示範者的身體力學,而是要理解一連串有意義的狀態變化,再用自己的身體找到達成目標的方法。
模擬與認知科學,提供另一套學習配方
HOST 的設計亦反映一種以目標為本的模仿觀:觀察者先判斷一個動作想達成甚麼結果,再選擇適合自己身體的運動方案。這和逐格重播示範軌跡,有根本上的不同。
模擬環境和大規模預訓練,可以在正式部署前提供廣泛的變化;一段短片則在實際操作當刻,補上機械人面對的特定任務資訊。兩者分工,形成一個可能適用於具身 AI 的訓練配方:先在離線階段學習廣泛的物理及行為先驗,再透過推理時上下文快速專門化。
這個方向亦配合機械人開放資料集及跨身體形態基礎模型的發展。不同機械人平台的經驗,可以透過共享資料轉移到其他平台;Open X-Embodiment 計劃的資料便涵蓋 22 種機械人形態,展示跨平台學習及正向遷移的可能性。
25
開源,點解對 HOST 重要?
X Square Robot 公開 HOST,令其他研究人員和開發者更容易檢視、重現及測試這套方法。當程式碼和工具開放後,研究界可以進一步觀察影片到動作的轉移,在不同攝影機、機械臂、環境及任務上是否仍然成立,而不必只依賴一段由公司控制的示範。
公司亦已為 WALL 具身模型生態系統公開相關程式碼及工具,涵蓋訓練、推理、資料準備及評估流程。
26
27 對 X Square 而言,開源同時可以加快外部實驗,並讓開發者逐漸熟悉其模型及硬件周邊。
當然,公開程式碼本身並不能證明 HOST 的基準成績。它真正帶來的價值,是令核心假設更容易接受外部驗證:機械人的預訓練能力,是否真的可以透過一段精簡示範即時適應,而不用每遇到新操作任務便重新收集資料及微調。
62% 成功率,代表到甚麼程度?
如果同時考慮示範數量及訓練時間的減少,62% 是一項值得關注的研究結果。但它並不等於可靠的自主操作;按研究所述的測試,仍然有接近五分之二的嘗試失敗。
這個結果亦未能證明系統在所有家居環境都能穩定運作。要評估其真正能力,還需要在不同光線、雜物程度、物件外觀、接觸動力學、錯誤復原、安全限制、較長任務流程,以及不同機械人身體形態下進行更多測試。由於論文屬研究預印本,相關比較亦只針對特定基準,獨立評估同樣重要。
18
34
所以,較可信而且更有用的結論,並不是「人形機械人現在已經可以睇一條片就學識做家務」,而是:HOST 展示了一個可能的新方向——先以廣泛資料預訓練機械人的能力,再透過人類示範於推理時快速取得個別技能,同時避免每項任務都要更新模型權重。
如果這個結果日後能在作者以外的基準及環境中重現,推理時技能獲取或許會成為遙距操控、資料集收集及反覆微調之外,一條認真可行的具身 AI 發展路線。