BYDが発表したHyWorldVLAは、自動運転向けのVision-Language-Action（VLA）モデルです。特徴は、道路状況を扱う「世界モデル」において、将来の映像を細かなピクセル単位で扱う方式と、情報を圧縮した**潜在空間（latent space）**で扱う方式を組み合わせた点にあります。1

狙いは明快です。学習時にはピクセルの細部を見失わないようにし、実際の推論・走行時には、より軽量な潜在表現だけで将来を予測して軌道をつくる。高精細さと計算効率のトレードオフを、処理する段階を分けて解こうとする設計です。17

ピクセル予測だけでも、潜在空間だけでも難しい理由

ピクセルレベルで将来フレームを予測すれば、車線、道路端、周辺車両などの視覚的な細部を保ちやすくなります。一方で、扱う情報量が大きく、計算コストも重くなります。

反対に潜在空間のモデルは、映像を圧縮した特徴量の上で予測するため、効率的に動かしやすいのが利点です。ただし圧縮の過程で、運転判断に必要な細かな情報まで失うおそれがあります。1

HyWorldVLAは、どちらか一方に寄せるのではなく、学習ではピクセル情報を使って潜在表現を鍛え、運用時は潜在表現で走らせるという役割分担を採ります。潜在特徴は最終的に「action expert（行動エキスパート）」へ渡され、運転軌道の生成に用いられます。17

学習は3段階

1. 言語で補助するVideo VAEの学習

まずVideo VAE（変分オートエンコーダ）が、運転映像の連続フレームをコンパクトな潜在特徴へ圧縮します。この圧縮器の学習では、言語情報が意味的な文脈として使われます。25

重要なのは、単に動画データを小さくすることではありません。後段で未来の状況を予測し、運転行動を決めるために役立つ情報を、潜在空間に残すことが目的です。

2. ピクセルと潜在特徴を併用する世界モデルの事前学習

次に、画像、行動、言語、潜在特徴を離散トークンとして統合し、自己回帰的に次のトークンを予測します。この段階では、将来の動画潜在特徴を予測すると同時に、将来フレームも再構成します。12

ここでの核となるのが、二重の監督信号です。

• ピクセル予測・再構成：現実の視覚シーンにモデルを細かく結び付ける。
• 潜在特徴の予測：将来の運転計画に使いやすい、圧縮された表現を学ばせる。

言い換えれば、ピクセル側の損失は、潜在空間が情報を圧縮しすぎて重要な道路状況を取りこぼすのを防ぐ制約として働きます。17

3. 行動エキスパートとの共同ファインチューニング

最後に、世界モデルと軌道生成を担う行動エキスパートを共同で最適化します。推論時、HyWorldVLAは完全なピクセルフレームを生成せず、潜在特徴を予測して行動エキスパートに渡し、走行軌道を出力します。1

この分離が効率化の要点です。高コストなピクセル監督は訓練で表現を整えるために使い、実走行を想定したオンライン推論では、軽量な潜在空間での予測に絞ります。

アブレーションが示した「両方必要」という結果

NAVSIM v1で、HyWorldVLAはPDMS 90.59を報告しました。論文および関連報道では、当時の公開結果の中で先行する水準とされています。17

要素を外して性能変化を見るアブレーション実験では、ハイブリッド構成が単なる機能の足し算ではないことが示されています。

• ピクセルレベル予測を外すと、PDMSは90.59から87.50へ低下。7
• 潜在空間処理を外すと、89.91へ低下。7
• 潜在モジュールから言語ガイダンスを外すと、90.35へ低下。20

この結果は、ピクセル監督と潜在予測が別々の役割を担うという研究チームの見方を支持します。前者はシーンの細部を維持し、後者は行動予測向けの効率的な表現を提供する、という関係です。

損失の重みは「強ければ強いほど良い」わけではない

論文では、動画トークン予測の損失重みをλ1、潜在表現の一貫性に関する損失重みをλ2として検証しています。20

λ2を0.1に固定した場合、λ1を0.1から0.5へ上げるとPDMSは90.48から90.59へ改善しました。しかしλ1を1.0にすると、スコアは89.83へ下がりました。20

またλ1を0.5に固定し、λ2を0.1より大きくすると性能は低下しました。λ2が0.2のときPDMSは90.47で、その後も重みを上げるにつれて低下傾向が続きました。20

つまり、ピクセルと潜在特徴への監督は、情報を保持するのに十分である必要がある一方、強すぎればモデルが硬直的になり、運転に適した表現を学ぶ余地を狭める可能性があります。

NAVSIM v1のPDMSは何を測るのか

PDMSはNAVSIMにおける総合的な運転品質の指標です。自車に責任がある衝突の回避、走行可能領域の順守、衝突までの余裕時間、乗り心地、ルート上の進捗といった要素を含みます。2

したがって90.59という数値は、単純な画像認識精度ではなく、そのベンチマーク環境における運転計画の総合評価です。ただし、NAVSIMはシミュレーションベンチマークであり、実道路における安全性や性能が独立して実証されたことを意味するものではありません。

BYDの自動運転AI戦略にとっての意味

論文の所属はBYDのAutomotive New Technology Research Instituteであり、同社が自動運転向けの基盤モデル研究を社内で進めていることを示す公開成果といえます。1

チームとHarbin Institute of Technology（哈爾浜工業大学）のロボティクス分野とのつながりを指摘する報道もあります。ただし、入手できる一次資料だけでは、各研究者の学術的な経歴まで確定できません。5

NIO、XPeng、Li Autoなどが競う中国EV市場において、HyWorldVLAはBYDがVLAと世界モデルの分野で、公開ベンチマークによる測定可能な研究成果を示したことを意味します。もっとも、これは研究開発能力を示す材料であり、実道路での自動運転性能でBYDがすでに優位に立ったことの証明ではありません。

BYDの車両展開規模は、研究成果を安全で検証済みの製品へ落とし込み、効率的に導入できた場合に初めて強みになり得ます。次に問われるのはベンチマークのスコアではなく、モデルとシミュレーションでの成果を、信頼できる実道路の運用へ移せるかどうかです。

BYDが発表したHyWorldVLAは、自動運転向けのVision-Language-Action（VLA）モデルです。特徴は、道路状況を扱う「世界モデル」において、将来の映像を細かなピクセル単位で扱う方式と、情報を圧縮した**潜在空間（latent space）**で扱う方式を組み合わせた点にあります。1

狙いは明快です。学習時にはピクセルの細部を見失わないようにし、実際の推論・走行時には、より軽量な潜在表現だけで将来を予測して軌道をつくる。高精細さと計算効率のトレードオフを、処理する段階を分けて解こうとする設計です。17

ピクセル予測だけでも、潜在空間だけでも難しい理由

ピクセルレベルで将来フレームを予測すれば、車線、道路端、周辺車両などの視覚的な細部を保ちやすくなります。一方で、扱う情報量が大きく、計算コストも重くなります。

反対に潜在空間のモデルは、映像を圧縮した特徴量の上で予測するため、効率的に動かしやすいのが利点です。ただし圧縮の過程で、運転判断に必要な細かな情報まで失うおそれがあります。1

HyWorldVLAは、どちらか一方に寄せるのではなく、学習ではピクセル情報を使って潜在表現を鍛え、運用時は潜在表現で走らせるという役割分担を採ります。潜在特徴は最終的に「action expert（行動エキスパート）」へ渡され、運転軌道の生成に用いられます。17

学習は3段階

1. 言語で補助するVideo VAEの学習

まずVideo VAE（変分オートエンコーダ）が、運転映像の連続フレームをコンパクトな潜在特徴へ圧縮します。この圧縮器の学習では、言語情報が意味的な文脈として使われます。25

重要なのは、単に動画データを小さくすることではありません。後段で未来の状況を予測し、運転行動を決めるために役立つ情報を、潜在空間に残すことが目的です。

2. ピクセルと潜在特徴を併用する世界モデルの事前学習

次に、画像、行動、言語、潜在特徴を離散トークンとして統合し、自己回帰的に次のトークンを予測します。この段階では、将来の動画潜在特徴を予測すると同時に、将来フレームも再構成します。12

ここでの核となるのが、二重の監督信号です。

• ピクセル予測・再構成：現実の視覚シーンにモデルを細かく結び付ける。
• 潜在特徴の予測：将来の運転計画に使いやすい、圧縮された表現を学ばせる。

言い換えれば、ピクセル側の損失は、潜在空間が情報を圧縮しすぎて重要な道路状況を取りこぼすのを防ぐ制約として働きます。17

3. 行動エキスパートとの共同ファインチューニング

最後に、世界モデルと軌道生成を担う行動エキスパートを共同で最適化します。推論時、HyWorldVLAは完全なピクセルフレームを生成せず、潜在特徴を予測して行動エキスパートに渡し、走行軌道を出力します。1

この分離が効率化の要点です。高コストなピクセル監督は訓練で表現を整えるために使い、実走行を想定したオンライン推論では、軽量な潜在空間での予測に絞ります。

アブレーションが示した「両方必要」という結果

NAVSIM v1で、HyWorldVLAはPDMS 90.59を報告しました。論文および関連報道では、当時の公開結果の中で先行する水準とされています。17

要素を外して性能変化を見るアブレーション実験では、ハイブリッド構成が単なる機能の足し算ではないことが示されています。

• ピクセルレベル予測を外すと、PDMSは90.59から87.50へ低下。7
• 潜在空間処理を外すと、89.91へ低下。7
• 潜在モジュールから言語ガイダンスを外すと、90.35へ低下。20

この結果は、ピクセル監督と潜在予測が別々の役割を担うという研究チームの見方を支持します。前者はシーンの細部を維持し、後者は行動予測向けの効率的な表現を提供する、という関係です。

損失の重みは「強ければ強いほど良い」わけではない

論文では、動画トークン予測の損失重みをλ1、潜在表現の一貫性に関する損失重みをλ2として検証しています。20

λ2を0.1に固定した場合、λ1を0.1から0.5へ上げるとPDMSは90.48から90.59へ改善しました。しかしλ1を1.0にすると、スコアは89.83へ下がりました。20

またλ1を0.5に固定し、λ2を0.1より大きくすると性能は低下しました。λ2が0.2のときPDMSは90.47で、その後も重みを上げるにつれて低下傾向が続きました。20

つまり、ピクセルと潜在特徴への監督は、情報を保持するのに十分である必要がある一方、強すぎればモデルが硬直的になり、運転に適した表現を学ぶ余地を狭める可能性があります。

NAVSIM v1のPDMSは何を測るのか

PDMSはNAVSIMにおける総合的な運転品質の指標です。自車に責任がある衝突の回避、走行可能領域の順守、衝突までの余裕時間、乗り心地、ルート上の進捗といった要素を含みます。2

したがって90.59という数値は、単純な画像認識精度ではなく、そのベンチマーク環境における運転計画の総合評価です。ただし、NAVSIMはシミュレーションベンチマークであり、実道路における安全性や性能が独立して実証されたことを意味するものではありません。

BYDの自動運転AI戦略にとっての意味

論文の所属はBYDのAutomotive New Technology Research Instituteであり、同社が自動運転向けの基盤モデル研究を社内で進めていることを示す公開成果といえます。1

チームとHarbin Institute of Technology（哈爾浜工業大学）のロボティクス分野とのつながりを指摘する報道もあります。ただし、入手できる一次資料だけでは、各研究者の学術的な経歴まで確定できません。5

NIO、XPeng、Li Autoなどが競う中国EV市場において、HyWorldVLAはBYDがVLAと世界モデルの分野で、公開ベンチマークによる測定可能な研究成果を示したことを意味します。もっとも、これは研究開発能力を示す材料であり、実道路での自動運転性能でBYDがすでに優位に立ったことの証明ではありません。

BYDの車両展開規模は、研究成果を安全で検証済みの製品へ落とし込み、効率的に導入できた場合に初めて強みになり得ます。次に問われるのはベンチマークのスコアではなく、モデルとシミュレーションでの成果を、信頼できる実道路の運用へ移せるかどうかです。