BYD 發表的 HyWorldVLA，係一個面向自動駕駛的 Vision-Language-Action（VLA，視覺、語言、動作）模型，重點在於採用混合「世界模型」：一邊以像素級方式保留路面場景的細緻資訊，另一邊在壓縮後的潛在空間（latent space）作預測與規劃，減低實際運算負擔。1

講白啲，系統要學識「睇得夠仔細」，但又唔可以每次決策都重新生成一幅高成本的未來畫面。HyWorldVLA 的做法是：將最重、最細緻的像素監督主要放喺訓練階段；到真正推理時，只輸出較精簡的潛在特徵，再交畀動作專家模組生成行車軌跡。17

點解唔只揀一種世界模型？

像素級未來畫面預測可以保存車道、障礙物、交通環境等細節，視覺上的「落地性」較強；但逐像素處理成本高。相反，潛在空間會把影片壓縮成抽象特徵，預測起來較有效率，卻有機會壓走對駕駛重要的資訊。1

HyWorldVLA 並非硬將兩條路拼埋一齊，而係令佢哋喺不同階段分工：

• 訓練時：用像素重建約束潛在表徵，避免模型為咗壓縮而遺失關鍵路況細節；
• 運行時：只預測潛在特徵，交由 action expert 產生行車軌跡，毋須逐格生成完整像素畫面。17

所以，像素監督有點似訓練時的「品質把關」，而潛在空間則負責讓實際推理更輕量。

三階段訓練流程

1. 用語言引導訓練 video VAE

第一步是訓練影片變分自編碼器（video VAE）。它會將連續的駕駛影片壓縮為潛在特徵；文字／語言資訊會在訓練過程中提供語意脈絡。25

目標不只是將影片「縮細」，而是要令壓縮後的特徵仍然保留日後預測路況和規劃駕駛動作所需的資訊。

2. 混合世界模型預訓練：像素與潛在特徵雙重監督

第二步會把影像、動作、語言和潛在特徵整合為離散 token，透過自回歸方式預測後續 token。模型一方面預測未來影片的潛在特徵，同時重建未來畫面。12

這就是所謂的雙重監督：

• 像素預測／重建，維持場景細節與視覺對應；
• 潛在特徵預測，建立較緊湊、適合做未來規劃的表徵。

換言之，像素損失會限制潛在模型「壓縮得太過火」，避免它漏掉影響駕駛決策的細節。17

3. 與 action expert 共同微調

最後，世界模型會跟專門產生動作或行車軌跡的 action expert 一齊優化。到推理時，系統不再生成完整的像素級未來影像，而是預測潛在特徵，再由 action expert 輸出駕駛軌跡。1

這個分工正是它想取得效率的關鍵：訓練時用高成本的像素監督教好模型，實際運行時就用較輕的潛在表徵做決策。

消融實驗：兩部分都唔係可有可無

在 NAVSIM v1 公開基準中，HyWorldVLA 報告取得 90.59 PDMS；論文及相關報道將之形容為當時公開結果中的領先成績。17

移除部分元件後，成績明顯下跌：

• 拿走像素級預測，PDMS 由 90.59 跌至 87.50；7
• 拿走潛在空間處理，則跌至 89.91；7
• 移除潛在模組中的語言引導，分數降至 90.35。20

這些結果支持研究團隊的判斷：像素級訊號負責守住場景細節，潛在空間則提供更適合做規劃、且較省資源的表徵；兩者不是互相取代，而是互補。

權重調校：監督唔係愈多愈好

論文亦測試兩個損失權重：λ1 用於影片 token 預測損失，λ2 用於潛在表徵一致性。20

當 λ2 固定為 0.1，λ1 由 0.1 加至 0.5 時，PDMS 由 90.48 升至 90.59；但 λ1 再升至 1.0，成績就跌至 89.83。20

而當 λ1 固定為 0.5，將 λ2 由 0.1 提高至 0.2，PDMS 由 90.59 降至 90.47，其後再提高時表現繼續轉弱。20

重點不是加愈多約束愈好，而是要取得平衡：監督要足夠令模型保留有用資訊，但太強又可能令它難以學到更貼近駕駛規劃的表徵。

90.59 PDMS 代表乜？

PDMS 是 NAVSIM 的綜合駕駛質素指標，涵蓋例如：自車責任碰撞避免、是否遵守可行駛區域、潛在碰撞前的時間餘裕、行車舒適度，以及沿路線前進的效率等。2

因此，90.59 並非單純的影像辨識分數，而是衡量模型在這個自動駕駛模擬基準內的整體規劃表現。不過，NAVSIM 始終是模擬評測；它不能等同於已在真實道路獨立驗證的安全性，亦未足以證明量產車上的實際自動駕駛表現。

對 BYD 的 AI 佈局意味住乜？

這份研究由 BYD 汽車新技術研究院發表，是 BYD 投入自研自動駕駛 foundation model 的一項公開訊號。1 關於團隊與哈爾濱工業大學機械人技術背景的連繫，相關報道值得留意；但現有的一手資料不足以逐一確認每位研究人員的學術背景。5

面對 NIO、XPeng 和 Li Auto 等同樣積極發展智能駕駛的車企，HyWorldVLA 至少令 BYD 展示出一個可量化、公開可比較的 VLA 與世界模型研究成果。這反映其研發能力，但不代表 BYD 已經在真實道路自動駕駛上確立領先地位。

BYD 的車輛部署規模，將來或可成為優勢，但前提是公司能將論文成績轉化為安全、經驗證、可有效部署的產品。下一個真正考驗，不是再刷新一次 benchmark 分數，而是能否可靠地由模型與模擬環境，走到現實道路。

BYD 發表的 HyWorldVLA，係一個面向自動駕駛的 Vision-Language-Action（VLA，視覺、語言、動作）模型，重點在於採用混合「世界模型」：一邊以像素級方式保留路面場景的細緻資訊，另一邊在壓縮後的潛在空間（latent space）作預測與規劃，減低實際運算負擔。1

講白啲，系統要學識「睇得夠仔細」，但又唔可以每次決策都重新生成一幅高成本的未來畫面。HyWorldVLA 的做法是：將最重、最細緻的像素監督主要放喺訓練階段；到真正推理時，只輸出較精簡的潛在特徵，再交畀動作專家模組生成行車軌跡。17

點解唔只揀一種世界模型？

像素級未來畫面預測可以保存車道、障礙物、交通環境等細節，視覺上的「落地性」較強；但逐像素處理成本高。相反，潛在空間會把影片壓縮成抽象特徵，預測起來較有效率，卻有機會壓走對駕駛重要的資訊。1

HyWorldVLA 並非硬將兩條路拼埋一齊，而係令佢哋喺不同階段分工：

• 訓練時：用像素重建約束潛在表徵，避免模型為咗壓縮而遺失關鍵路況細節；
• 運行時：只預測潛在特徵，交由 action expert 產生行車軌跡，毋須逐格生成完整像素畫面。17

所以，像素監督有點似訓練時的「品質把關」，而潛在空間則負責讓實際推理更輕量。

三階段訓練流程

1. 用語言引導訓練 video VAE

第一步是訓練影片變分自編碼器（video VAE）。它會將連續的駕駛影片壓縮為潛在特徵；文字／語言資訊會在訓練過程中提供語意脈絡。25

目標不只是將影片「縮細」，而是要令壓縮後的特徵仍然保留日後預測路況和規劃駕駛動作所需的資訊。

2. 混合世界模型預訓練：像素與潛在特徵雙重監督

第二步會把影像、動作、語言和潛在特徵整合為離散 token，透過自回歸方式預測後續 token。模型一方面預測未來影片的潛在特徵，同時重建未來畫面。12

這就是所謂的雙重監督：

• 像素預測／重建，維持場景細節與視覺對應；
• 潛在特徵預測，建立較緊湊、適合做未來規劃的表徵。

換言之，像素損失會限制潛在模型「壓縮得太過火」，避免它漏掉影響駕駛決策的細節。17

3. 與 action expert 共同微調

最後，世界模型會跟專門產生動作或行車軌跡的 action expert 一齊優化。到推理時，系統不再生成完整的像素級未來影像，而是預測潛在特徵，再由 action expert 輸出駕駛軌跡。1

這個分工正是它想取得效率的關鍵：訓練時用高成本的像素監督教好模型，實際運行時就用較輕的潛在表徵做決策。

消融實驗：兩部分都唔係可有可無

在 NAVSIM v1 公開基準中，HyWorldVLA 報告取得 90.59 PDMS；論文及相關報道將之形容為當時公開結果中的領先成績。17

移除部分元件後，成績明顯下跌：

• 拿走像素級預測，PDMS 由 90.59 跌至 87.50；7
• 拿走潛在空間處理，則跌至 89.91；7
• 移除潛在模組中的語言引導，分數降至 90.35。20

這些結果支持研究團隊的判斷：像素級訊號負責守住場景細節，潛在空間則提供更適合做規劃、且較省資源的表徵；兩者不是互相取代，而是互補。

權重調校：監督唔係愈多愈好

論文亦測試兩個損失權重：λ1 用於影片 token 預測損失，λ2 用於潛在表徵一致性。20

當 λ2 固定為 0.1，λ1 由 0.1 加至 0.5 時，PDMS 由 90.48 升至 90.59；但 λ1 再升至 1.0，成績就跌至 89.83。20

而當 λ1 固定為 0.5，將 λ2 由 0.1 提高至 0.2，PDMS 由 90.59 降至 90.47，其後再提高時表現繼續轉弱。20

重點不是加愈多約束愈好，而是要取得平衡：監督要足夠令模型保留有用資訊，但太強又可能令它難以學到更貼近駕駛規劃的表徵。

90.59 PDMS 代表乜？

PDMS 是 NAVSIM 的綜合駕駛質素指標，涵蓋例如：自車責任碰撞避免、是否遵守可行駛區域、潛在碰撞前的時間餘裕、行車舒適度，以及沿路線前進的效率等。2

因此，90.59 並非單純的影像辨識分數，而是衡量模型在這個自動駕駛模擬基準內的整體規劃表現。不過，NAVSIM 始終是模擬評測；它不能等同於已在真實道路獨立驗證的安全性，亦未足以證明量產車上的實際自動駕駛表現。

對 BYD 的 AI 佈局意味住乜？

這份研究由 BYD 汽車新技術研究院發表，是 BYD 投入自研自動駕駛 foundation model 的一項公開訊號。1 關於團隊與哈爾濱工業大學機械人技術背景的連繫，相關報道值得留意；但現有的一手資料不足以逐一確認每位研究人員的學術背景。5

面對 NIO、XPeng 和 Li Auto 等同樣積極發展智能駕駛的車企，HyWorldVLA 至少令 BYD 展示出一個可量化、公開可比較的 VLA 與世界模型研究成果。這反映其研發能力，但不代表 BYD 已經在真實道路自動駕駛上確立領先地位。

BYD 的車輛部署規模，將來或可成為優勢，但前提是公司能將論文成績轉化為安全、經驗證、可有效部署的產品。下一個真正考驗，不是再刷新一次 benchmark 分數，而是能否可靠地由模型與模擬環境，走到現實道路。