HOST(Human-to-robot One-Shot Skill AcquisiTion,人類到機器人的單次技能習得)最值得注意的地方,不是機器人突然已經能獨立處理所有家務,而是它把學習一項新身體技能的方式,變得更像「給模型一個提示」,而不是每次都啟動一個全新的訓練專案。
在這套框架中,人類只要示範一次,機器人便嘗試理解任務想達成的結果,將畫面轉換成自己的視角,再執行動作;原本的模型權重則維持不變。
18
34
研究團隊報告稱,一段平均 29 秒的人類示範影片,帶來 62% 的平均成功率。相比之下,以 Pi-0.5 為基礎、使用約 50 段機器人示範並微調 4 小時的比較方法,成功率約為 38%。這些數字來自作者的實驗設計,不能直接等同於能在真實家庭環境中可靠運作的程度。
18
34
從「重新訓練」轉向「推理時適應」
傳統模仿學習通常會為每項新任務蒐集示範資料,再透過最佳化或微調讓模型學會。這不只需要大量遙操作時間,也會佔用機器人設備;如果新技能以更新權重的方式加入,還可能影響模型原本已經掌握的行為。
HOST 將適應發生的時間點往後移。它不改動預訓練模型,而是把示範影片當成推理時提供的任務脈絡。這種做法更接近大型模型的「上下文學習」(in-context learning),而不是透過梯度更新,將新行為永久寫入模型。過去的機器人學習研究也曾探索類似方向:模型可以根據觀察與動作的上下文調整行為,而不必更新自身權重。
20
這代表「示範給機器人看」與「讓機器人試做」之間的距離可能縮短。不過,不能把它理解成機器人在 29 秒內從零開始學會所有物理原理。更精確的說法是:機器人已透過大規模預訓練建立廣泛的技能先驗,再利用一段影片挑選、對應並執行當下的新任務。
HOST 為什麼不直接照抄人類動作?
人類與機器人的攝影機位置、手部形狀、關節結構、可及範圍和移動速度都不相同。如果直接複製影片像素或人類的關節軌跡,遇到不同身體條件時很容易失效。
HOST 採用的是一套「自我對應的預測」流程。框架先估計人類示範在任務中進展到哪個階段,再預測這段進展從機器人自身視角看起來會是什麼樣子,最後根據預測出的觀察結果推導可執行的動作。
18
其中幾個主要部分各自處理不同的轉換難題:
- 視覺模組:從機器人自身的感知框架理解示範任務,以及任務預期達成的結果。
- 動作生成模組:將預測出的結果轉換成機器人可以執行的動作。
- 動態時間校準(dynamic time warping,DTW):當人類和機器人以不同速度完成相同步驟時,協助對齊兩者的任務階段。
因此,機器人並不需要精準重現示範者的身體力學,而是要理解一連串有意義的狀態變化,再用自己的身體找出完成任務的路徑。
模擬、認知科學與基礎模型共同支撐的新配方
HOST 的設計也反映出一種以目標為導向的模仿觀:觀察者先判斷一個動作想完成什麼,再選擇適合自身身體的動作計畫。這與逐格重播示範軌跡,有本質上的不同。
模擬環境和大規模預訓練可以在部署前提供廣泛變化,讓模型先建立一般性的物理與行為先驗;短時間的真實世界影片,則在機器人面對具體任務時補上即時、任務特定的資訊。這種分工指向一種可能的具身 AI 訓練配方:離線學習廣泛能力,部署後再透過推理時的上下文快速專門化。
這條路線也與開放式機器人資料集及跨機器人形體訓練的基礎模型趨勢相呼應。不同平台的機器人可以共享經驗,讓在一種機器人身上學到的能力,有機會轉移到其他平台。
25
開源讓這個假設更容易被驗證
X Square Robot 開放 HOST 的程式碼,讓其他研究人員和開發者能夠檢視、重現並測試這套方法。公開實作的價值,在於研究社群可以進一步觀察影片到動作的轉換,能否跨越不同攝影機、機械臂、環境和任務,而不只是停留在單一公司的示範中。
X Square 也公開了 WALL 具身模型生態系的程式碼與工具,涵蓋訓練、推理、資料準備及評估流程。
26
27 對公司而言,開源因此可能同時服務兩個目標:加速外部實驗,也讓開發者逐步熟悉其模型和硬體。
當然,開源本身並不能證明 HOST 的基準成績。它真正帶來的是可驗證性:研究者可以檢驗「預訓練模型能否透過短片示範適應新操作任務,而不必每次更新權重」這項核心假設。
62% 的成功率代表什麼?又沒有代表什麼?
在示範資料和訓練時間都大幅減少的情況下,62% 的成功率確實是一項值得注意的研究結果。但它不等於可靠的自主運作能力。在該項評估中,仍有接近五分之二的嘗試未能成功。
這項結果也沒有證明機器人在所有家庭場景中都能穩定表現。後續仍需測試光線、雜物、物件外觀、接觸動力學、錯誤後的復原能力、安全限制、較長的任務流程,以及不同機器人身體之間的泛化表現。由於論文屬於研究預印本,且比較結果取決於特定基準,獨立團隊的評估同樣重要。
18
34
更可靠、也更有用的結論,不是「人形機器人現在已經能看一段影片就學會家務」,而是 HOST 展示了一個具潛力的新方向:先以廣泛資料預訓練機器人的能力,再透過人類示範在推理時快速取得個別技能,避開每項任務都要遙操作、蒐集資料和反覆微調的高成本循環。
如果這項成果未來能在作者以外的基準和機器人平台上重現,推理時技能習得或許會成為具身 AI 訓練中,足以與傳統逐任務微調並列的重要方案。