HyWorldVLA BYD menggabungkan dunia piksel dan ruang laten untuk pemanduan autonomi lebih cekap

BYD memperkenalkan HyWorldVLA sebagai model Vision-Language-Action (VLA) untuk pemanduan autonomi yang menggunakan pendekatan “model dunia” hibrid. Ringkasnya, ia belajar daripada dua gambaran jalan raya: butiran visual pada aras piksel dan representasi termampat dalam ruang laten (latent space). 1

Gabungan ini cuba menyelesaikan pertukaran yang biasa berlaku dalam AI pemanduan: model berasaskan piksel boleh mengekalkan butiran adegan yang sangat halus, tetapi memerlukan pengiraan besar. Model ruang laten pula bekerja dengan versi maklumat yang telah dimampatkan, menjadikannya lebih cekap, namun berisiko terlepas butiran penting untuk keputusan memandu. 1

Idea utama: belajar dengan piksel, memandu dengan laten

HyWorldVLA tidak memilih salah satu pendekatan secara mutlak. Ketika latihan, ia menggunakan penyeliaan piksel supaya representasi laten kekal berasaskan keadaan visual sebenar. Namun ketika sistem digunakan untuk inferens, ia hanya meramal ciri laten dan menyerahkannya kepada pakar tindakan (action expert) untuk membina trajektori pemanduan. 17

Jadi, kos penghasilan bingkai video penuh pada aras piksel digunakan untuk membentuk model semasa latihan, bukan dibawa sepenuhnya ke operasi masa nyata. Itu ialah asas tuntutan kecekapannya.

Tiga fasa latihan HyWorldVLA

1. Melatih video VAE dengan panduan bahasa

Pada fasa pertama, sebuah video variational autoencoder (VAE) memampatkan urutan video pemanduan kepada ciri laten. Bahasa digunakan sebagai konteks semantik ketika melatih pemampat ini. 25

Matlamatnya bukan sekadar mengecilkan data video. Ruang laten perlu menyimpan maklumat yang berguna untuk meramal apa yang bakal berlaku dan, akhirnya, untuk membuat keputusan pemanduan.

2. Pralatihan model dunia secara hibrid

Seterusnya, imej, tindakan, unsur bahasa dan ciri laten ditukar kepada token diskret dalam satu urutan untuk ramalan autoregresif. Pada peringkat ini, model meramal laten video masa depan sambil membina semula bingkai masa depan. 12

Di sinilah berlakunya penyeliaan berganda:

• Ramalan atau pembinaan semula piksel mengekalkan kaitan rapat dengan butiran visual jalan raya.
• Ramalan laten membina isyarat yang lebih padat untuk perancangan masa depan.

Dalam bahasa mudah, kehilangan (loss) pada aras piksel bertindak sebagai pagar kawalan: ia menghalang ruang laten daripada menjadi terlalu ringkas sehingga mengabaikan maklumat penting dalam adegan. 17

3. Penalaan bersama dengan pakar tindakan

Dalam fasa terakhir, model dunia ditala bersama model khusus untuk tindakan atau trajektori. Ketika inferens, sistem meramal ciri laten—bukan bingkai piksel penuh—dan ciri itu digunakan oleh pakar tindakan untuk menghasilkan trajektori pemanduan. 1

Pemisahan ini penting: butiran piksel membantu melatih representasi yang baik, manakala penggunaan laten ketika operasi mengurangkan beban pengiraan.

Apa yang ditunjukkan oleh ujian ablation

Dalam NAVSIM v1, HyWorldVLA melaporkan skor 90.59 PDMS, yang digambarkan oleh penerbitan dan laporan berkaitan sebagai keputusan teratas dalam kalangan hasil awam pada waktu itu. 17

Ujian ablation—iaitu mengeluarkan komponen tertentu untuk mengukur kesannya—menunjukkan reka bentuk hibrid ini bukan sekadar gabungan ciri:

• Tanpa ramalan aras piksel, PDMS turun daripada 90.59 kepada 87.50. 7
• Tanpa pemprosesan ruang laten, ia turun kepada 89.91. 7
• Tanpa panduan bahasa dalam modul laten, skor menurun kepada 90.35. 20

Dapatan ini menyokong hujah penyelidik bahawa dua jenis isyarat tersebut menjalankan peranan berlainan: piksel mengekalkan kesetiaan kepada adegan, sementara laten menyediakan representasi yang lebih ekonomik untuk meramal tindakan.

Mengapa imbangan loss penting

Kertas itu menguji dua pemberat: λ1 untuk kehilangan ramalan token video dan λ2 untuk konsistensi representasi laten. 20

Dengan λ2 dikekalkan pada 0.1, menaikkan λ1 daripada 0.1 kepada 0.5 meningkatkan PDMS daripada 90.48 kepada 90.59. Tetapi apabila λ1 dinaikkan kepada 1.0, skornya merosot kepada 89.83. 20

Apabila λ1 ditetapkan pada 0.5, peningkatan λ2 melebihi 0.1 pula mengurangkan prestasi: pada 0.2, PDMS ialah 90.47, dan skor terus menurun pada nilai lebih tinggi. 20

Maksudnya, lebih banyak kekangan bukan semestinya lebih baik. Model memerlukan penyeliaan piksel dan laten yang mencukupi untuk menyimpan maklumat berguna, tetapi terlalu banyak kekangan boleh menjadikan representasi terlalu kaku.

Apakah yang diukur oleh PDMS dalam NAVSIM v1?

PDMS ialah metrik gabungan kualiti pemanduan dalam NAVSIM, sebuah penanda aras simulasi pemanduan autonomi. Ia merangkumi perkara seperti pengelakan pelanggaran yang berpunca daripada kenderaan sendiri, pematuhan kepada kawasan boleh dipandu, masa ke pelanggaran berpotensi, keselesaan pergerakan dan kemajuan kenderaan di sepanjang laluan. 2

Oleh itu, 90.59 bukan sekadar skor pengecaman imej. Ia mengukur kualiti perancangan pemanduan dalam penanda aras itu. Namun, ia masih penilaian dalam persekitaran simulasi dan bukan pengesahan bebas terhadap keselamatan atau prestasi dalam trafik dunia sebenar.

Isyarat untuk strategi AI BYD

Karya ini dikaitkan dengan Automotive New Technology Research Institute milik BYD, sekali gus menjadi petunjuk terbuka bahawa syarikat itu melabur dalam penyelidikan dalaman model asas untuk pemanduan autonomi. 1

Laporan yang mengaitkan pasukan tersebut dengan kepakaran robotik daripada Harbin Institute of Technology menarik perhatian, tetapi bukti primer yang tersedia tidak mencukupi untuk mengesahkan latar akademik setiap penyelidik. 5

Berbanding pesaing seperti NIO, XPeng dan Li Auto, HyWorldVLA memberi BYD satu hasil penyelidikan VLA dan pemodelan dunia yang boleh diukur secara terbuka. Ini menunjukkan keupayaan penyelidikan, bukannya bukti bahawa BYD sudah mendahului dalam pemanduan autonomi di jalan raya.

Kekuatan skala pengeluaran kenderaan BYD hanya akan menjadi kelebihan jika syarikat itu dapat menterjemahkan hasil penyelidikan ini kepada produk yang selamat, disahkan dan boleh digunakan secara cekap. Ujian sebenar seterusnya bukan sekadar skor penanda aras yang lebih tinggi, tetapi peralihan yang boleh dipercayai daripada model simulasi ke operasi di jalan raya.