| 最多約 30 秒的影片記憶,配合感測器、語言及本體感覺輸入;據報可輸出 100Hz 的動作軌跡。 |
| 訓練基礎 | 分兩階段:先以 229 項任務的 193,462 條機械人軌跡預訓練,再以 5,847 組自行收集的人類影片—機械人軌跡配對資料作適配。 | Generalist AI 表示,模型持續以真實物理互動數據訓練超過 8 個月,預訓練階段沒有使用模擬數據。 |
| 單次示範所需時間 | 平均約 29 秒便可從一段人類影片取得新技能。 | 公司聲稱只需 3 至 12 秒的一次示範。 |
| 是否需要傳統重新訓練? | 不需要;新技能在推理階段取得,不涉及任務專屬的參數更新。 | 單次提示模式不需要梯度更新或微調;但較困難的任務可另行進行少樣本適配。 |
| 任務覆蓋 | 在 50 項全新操作任務上測試,涉及不同物件、工具及操作原語;每項任務進行 20 次試驗。 | 公開示範包括開樽、拉開拉鏈袋、將物件掃入碗中、把標記筆放入杯內、倒螺絲,以及工具使用和即興變化。公開資料未提供規格相近的完整任務測試組。 |
| 成功率 | 新任務平均成功率 62%。 | 公司及相關公開資料報稱,10 項多元操作任務的單次上下文學習平均成功率為 59%;但尚未有足夠獨立資料核實一個可直接比較的總體數字。 |
| 基線或適配比較 | 據報比最強的零樣本模仿基線高 45%,亦勝過每項任務使用 50 段機械人示範進行監督式微調的方案。 | 公司表示,若單次提示不足以完成任務,可用 1 至 10 次梯度步驟,配合 1 至 5 分鐘數據作少樣本適配,約相當於 10 至 50 段示範。 |
| 效率聲稱 | 相比每項任務用 50 段機械人示範的監督式微調,取得技能的速度約快 507 倍。 | 將通常需要數以萬計梯度步驟的任務訓練,改為 3 至 12 秒的提示;需要時則使用 1 至 10 次適配步驟。這是公司聲稱,並非已由獨立基準測試確認的比較。 |
HOST 並不是簡單地把人手的絕對軌跡逐格翻譯成機械人動作。它會將人類影片視為一個按任務進度排列的參考,判斷機械人目前進行到哪個階段,再從機械人自身的視角預測下一步應達到的結果,最後反推出所需動作。
這種設計的關鍵,在於機械人不必完全複製示範者的手臂位置或動作速度。即使機械人的身體結構、視角或執行路徑不同,系統仍嘗試對齊「任務進度」及「預期結果」。因此,短片不是一份新的訓練數據,而是一次即時引導。
研究團隊在 50 項未見過的操作任務、每項 20 次試驗中,錄得 62% 平均成功率。 測試涵蓋不同物件、工具和操作方式,顯示方法具備一定跨任務轉移能力;但換個角度看,62% 亦代表它仍然未能在每次嘗試都可靠完成任務。
HOST 的報告亦包括穩健性測試。在改變光線、物件、場景及加入人為干擾後,相對於 62% 的基準成功率,據報成功率分別下降 1%、4%、6% 及 9%。 這些結果說明系統具一定抗變能力,但仍然屬於受控實驗環境下的測試。
GEN-1.5 以大型具身基礎模型的方向呈現同一個概念:先利用大量物理互動經驗建立廣泛能力,之後將一段 3 至 12 秒的人類示範放入模型的上下文記憶,讓模型在不更新權重的情況下,直接嘗試新任務。
Generalist AI 表示,GEN-1.5 可處理影片、語言、感測器及本體感覺等多模態資訊,並能輸出高頻率動作軌跡。公司展示的例子包括開樽、拉開收納袋和將物件掃入碗中;它亦聲稱系統具備人類到機械人的模仿、將兩個提示行為組合起來,以及由模擬影片提示真實機械人執行等能力。
不過,「毋須重新訓練」並不代表所有情況都完全不需要適配。對於較難的任務,Generalist AI 另設少樣本路徑:以 1 至 5 分鐘數據進行 1 至 10 次梯度更新。 因此,最準確的說法是:單次示範模式不需梯度更新;但模型亦支援在必要時作輕量級適配。
兩個系統所展示的,並不是機械人由零開始、完全沒有先驗知識地學習。它們都依賴成本高昂的大規模預訓練:預先建立對物理世界、物件互動及動作控制的基本理解,再把新示範當成一個具體任務的即時指引。
這種做法的真正效率,在於將訓練成本攤分到預訓練階段。對最終使用者來說,教導一個新任務可能由「收集數百段機械人示範、設計獎勵、反覆微調」變成「示範一次,讓模型即時嘗試」。HOST 以平均 29 秒的技能取得時間,以及據報 507 倍的速度提升,將這種取捨量化呈現出來。
這亦代表人機互動界面可能由「編程」轉向「示範」:人類展示目標和步驟,機械人則運用預先學到的物理常識,將示範轉換成適合自己身體和當下環境的動作。
HOST 仍然是受控實驗的學術預印本結果。 它在 50 項選定的新任務上取得 62% 平均成功率,但這不等於已證明能應付開放世界。家居、工業、長流程、安全關鍵情境,以及由獨立團隊重現的結果,仍有待驗證。
GEN-1.5 的證據較難由外部獨立評估。 模型能力、訓練時間、沒有使用模擬數據的說法、提示時長及適配結果,主要由 Generalist AI 發布或由其公告轉述。
兩者目前沒有完全對等的公開基準可直接比較。 GEN-1.5 尚缺乏足夠公開且獨立的資料,去確認標準化任務數量、試驗流程、整體單次示範成功率、基線比較、模型及數據公開程度,或第三方重現結果。因此,GEN-1.5 的示範可視為潛力證據,但未足以確立一個已核實的性能新高點。
總括而言,HOST 提供了較具體的證據,說明機械人可以在一段人類影片後,於推理階段、毋須更新參數,跨越一組明確的操作任務取得新技能;GEN-1.5 則提出另一種可能:當具身模型接受足夠廣泛的物理世界預訓練後,單次示範或許可以成為模型本身的一種上下文學習能力。
方向確實令人鼓舞,但現階段更合理的結論是:機械人的觀察式學習正在成形,尚未足以取代嚴格的任務驗證、安全工程,以及在非受控環境中的適配和測試。
| 最多約 30 秒的影片記憶,配合感測器、語言及本體感覺輸入;據報可輸出 100Hz 的動作軌跡。 |
| 訓練基礎 | 分兩階段:先以 229 項任務的 193,462 條機械人軌跡預訓練,再以 5,847 組自行收集的人類影片—機械人軌跡配對資料作適配。 | Generalist AI 表示,模型持續以真實物理互動數據訓練超過 8 個月,預訓練階段沒有使用模擬數據。 |
| 單次示範所需時間 | 平均約 29 秒便可從一段人類影片取得新技能。 | 公司聲稱只需 3 至 12 秒的一次示範。 |
| 是否需要傳統重新訓練? | 不需要;新技能在推理階段取得,不涉及任務專屬的參數更新。 | 單次提示模式不需要梯度更新或微調;但較困難的任務可另行進行少樣本適配。 |
| 任務覆蓋 | 在 50 項全新操作任務上測試,涉及不同物件、工具及操作原語;每項任務進行 20 次試驗。 | 公開示範包括開樽、拉開拉鏈袋、將物件掃入碗中、把標記筆放入杯內、倒螺絲,以及工具使用和即興變化。公開資料未提供規格相近的完整任務測試組。 |
| 成功率 | 新任務平均成功率 62%。 | 公司及相關公開資料報稱,10 項多元操作任務的單次上下文學習平均成功率為 59%;但尚未有足夠獨立資料核實一個可直接比較的總體數字。 |
| 基線或適配比較 | 據報比最強的零樣本模仿基線高 45%,亦勝過每項任務使用 50 段機械人示範進行監督式微調的方案。 | 公司表示,若單次提示不足以完成任務,可用 1 至 10 次梯度步驟,配合 1 至 5 分鐘數據作少樣本適配,約相當於 10 至 50 段示範。 |
| 效率聲稱 | 相比每項任務用 50 段機械人示範的監督式微調,取得技能的速度約快 507 倍。 | 將通常需要數以萬計梯度步驟的任務訓練,改為 3 至 12 秒的提示;需要時則使用 1 至 10 次適配步驟。這是公司聲稱,並非已由獨立基準測試確認的比較。 |
HOST 並不是簡單地把人手的絕對軌跡逐格翻譯成機械人動作。它會將人類影片視為一個按任務進度排列的參考,判斷機械人目前進行到哪個階段,再從機械人自身的視角預測下一步應達到的結果,最後反推出所需動作。
這種設計的關鍵,在於機械人不必完全複製示範者的手臂位置或動作速度。即使機械人的身體結構、視角或執行路徑不同,系統仍嘗試對齊「任務進度」及「預期結果」。因此,短片不是一份新的訓練數據,而是一次即時引導。
研究團隊在 50 項未見過的操作任務、每項 20 次試驗中,錄得 62% 平均成功率。 測試涵蓋不同物件、工具和操作方式,顯示方法具備一定跨任務轉移能力;但換個角度看,62% 亦代表它仍然未能在每次嘗試都可靠完成任務。
HOST 的報告亦包括穩健性測試。在改變光線、物件、場景及加入人為干擾後,相對於 62% 的基準成功率,據報成功率分別下降 1%、4%、6% 及 9%。 這些結果說明系統具一定抗變能力,但仍然屬於受控實驗環境下的測試。
GEN-1.5 以大型具身基礎模型的方向呈現同一個概念:先利用大量物理互動經驗建立廣泛能力,之後將一段 3 至 12 秒的人類示範放入模型的上下文記憶,讓模型在不更新權重的情況下,直接嘗試新任務。
Generalist AI 表示,GEN-1.5 可處理影片、語言、感測器及本體感覺等多模態資訊,並能輸出高頻率動作軌跡。公司展示的例子包括開樽、拉開收納袋和將物件掃入碗中;它亦聲稱系統具備人類到機械人的模仿、將兩個提示行為組合起來,以及由模擬影片提示真實機械人執行等能力。
不過,「毋須重新訓練」並不代表所有情況都完全不需要適配。對於較難的任務,Generalist AI 另設少樣本路徑:以 1 至 5 分鐘數據進行 1 至 10 次梯度更新。 因此,最準確的說法是:單次示範模式不需梯度更新;但模型亦支援在必要時作輕量級適配。
兩個系統所展示的,並不是機械人由零開始、完全沒有先驗知識地學習。它們都依賴成本高昂的大規模預訓練:預先建立對物理世界、物件互動及動作控制的基本理解,再把新示範當成一個具體任務的即時指引。
這種做法的真正效率,在於將訓練成本攤分到預訓練階段。對最終使用者來說,教導一個新任務可能由「收集數百段機械人示範、設計獎勵、反覆微調」變成「示範一次,讓模型即時嘗試」。HOST 以平均 29 秒的技能取得時間,以及據報 507 倍的速度提升,將這種取捨量化呈現出來。
這亦代表人機互動界面可能由「編程」轉向「示範」:人類展示目標和步驟,機械人則運用預先學到的物理常識,將示範轉換成適合自己身體和當下環境的動作。
HOST 仍然是受控實驗的學術預印本結果。 它在 50 項選定的新任務上取得 62% 平均成功率,但這不等於已證明能應付開放世界。家居、工業、長流程、安全關鍵情境,以及由獨立團隊重現的結果,仍有待驗證。
GEN-1.5 的證據較難由外部獨立評估。 模型能力、訓練時間、沒有使用模擬數據的說法、提示時長及適配結果,主要由 Generalist AI 發布或由其公告轉述。
兩者目前沒有完全對等的公開基準可直接比較。 GEN-1.5 尚缺乏足夠公開且獨立的資料,去確認標準化任務數量、試驗流程、整體單次示範成功率、基線比較、模型及數據公開程度,或第三方重現結果。因此,GEN-1.5 的示範可視為潛力證據,但未足以確立一個已核實的性能新高點。
總括而言,HOST 提供了較具體的證據,說明機械人可以在一段人類影片後,於推理階段、毋須更新參數,跨越一組明確的操作任務取得新技能;GEN-1.5 則提出另一種可能:當具身模型接受足夠廣泛的物理世界預訓練後,單次示範或許可以成為模型本身的一種上下文學習能力。
方向確實令人鼓舞,但現階段更合理的結論是:機械人的觀察式學習正在成形,尚未足以取代嚴格的任務驗證、安全工程,以及在非受控環境中的適配和測試。