HyWorldVLA BYD: Model Dunia Hibrida untuk Mengemudi Otonom yang Lebih Efisien

BYD memperkenalkan HyWorldVLA, model Vision-Language-Action (VLA) untuk mengemudi otonom yang memakai pendekatan “model dunia” hibrida. Intinya, sistem ini belajar dari dua cara merepresentasikan jalan di depan: prediksi visual sangat rinci pada level piksel dan representasi latent yang dipadatkan agar perhitungan lebih efisien. 1

Pendekatan tersebut mencoba menjawab dilema umum dalam AI mengemudi: model berbasis piksel mampu menangkap detail adegan, tetapi mahal secara komputasi; sementara model dalam latent space lebih ringan, namun berisiko membuang informasi visual yang penting untuk mengambil keputusan berkendara. 1

Detail piksel saat belajar, latent saat bekerja

HyWorldVLA tidak memilih salah satu pendekatan secara mutlak. Pada tahap pelatihan, BYD memakai supervisi tingkat piksel agar representasi latent tetap terikat pada kondisi visual jalan yang sebenarnya. Namun ketika sistem melakukan inferensi—yakni saat menghasilkan prediksi untuk pengambilan keputusan—model hanya memprediksi fitur latent. Fitur itu lalu diberikan kepada action expert untuk menghasilkan lintasan kendaraan. 17

Dengan kata lain, proses yang berat digunakan untuk membentuk representasi selama pelatihan, sedangkan operasi yang lebih hemat dipakai ketika model harus merencanakan aksi. Ini adalah kompromi antara detail lingkungan dan efisiensi komputasi.

Tiga tahap pelatihan HyWorldVLA

1. Melatih video VAE dengan panduan bahasa

Tahap pertama memakai video variational autoencoder atau video VAE. Model ini memampatkan rangkaian video berkendara menjadi fitur latent. Informasi bahasa digunakan sebagai konteks semantik saat melatih kompresor video tersebut. 25

Tujuannya bukan sekadar mengecilkan ukuran representasi video. Latent space yang dihasilkan harus tetap menyimpan informasi yang bermanfaat untuk memprediksi keadaan masa depan dan, pada akhirnya, merencanakan kendaraan.

2. Prapelatihan model dunia hibrida

Pada tahap berikutnya, citra, aksi, unsur bahasa, dan fitur latent disatukan menjadi token diskret untuk diprediksi secara autoregresif. Model memprediksi latent video masa depan sekaligus merekonstruksi frame video masa depan. 12

Di sinilah strategi supervisi ganda bekerja:

• Prediksi atau rekonstruksi piksel menjaga keterikatan model pada detail visual adegan.
• Prediksi representasi latent mendorong model untuk membangun sinyal yang lebih ringkas dan relevan bagi perencanaan masa depan.

Secara sederhana, kehilangan (loss) berbasis piksel bertindak sebagai pembatas agar model latent tidak terlalu agresif memampatkan adegan hingga menghilangkan detail penting. 17

3. Co-fine-tuning bersama action expert

Pada tahap akhir, model dunia dioptimalkan bersama modul khusus aksi atau lintasan, yang disebut action expert. Ketika inferensi, sistem tidak lagi membuat frame gambar lengkap pada level piksel. Sebagai gantinya, ia memprediksi fitur latent dan meneruskannya ke action expert untuk menghasilkan lintasan mengemudi. 1

Pemisahan ini penting bagi efisiensi. Supervisi piksel yang mahal tetap berguna untuk membentuk model pada tahap pelatihan, tanpa membebani prediksi online dengan biaya yang sama.

Hasil ablation: dua representasi itu sama-sama penting

Di benchmark publik NAVSIM v1, HyWorldVLA melaporkan skor 90,59 PDMS, yang dalam publikasi dan laporan terkait disebut sebagai hasil publik terdepan pada saat itu. 17

Eksperimen ablation—pengujian dengan menghilangkan satu komponen model—menunjukkan bahwa rancangan hibrida ini bukan sekadar menumpuk fitur:

• Tanpa prediksi tingkat piksel, PDMS turun dari 90,59 menjadi 87,50. 7
• Tanpa pemrosesan latent space, skornya turun menjadi 89,91. 7
• Tanpa panduan bahasa pada modul latent, skornya turun menjadi 90,35. 20

Temuan ini mendukung gagasan bahwa pixel dan latent menyelesaikan bagian masalah yang berbeda. Supervisi piksel membantu menjaga kesetiaan terhadap adegan, sedangkan representasi latent memberi jalur yang lebih ringkas untuk memprediksi aksi kendaraan.

Mengapa bobot loss menentukan hasil

Makalah ini juga menguji dua bobot pelatihan: λ1 untuk loss prediksi token video dan λ2 untuk konsistensi representasi latent. 20

Saat λ2 dipertahankan pada 0,1, menaikkan λ1 dari 0,1 ke 0,5 meningkatkan PDMS dari 90,48 ke 90,59. Namun, ketika λ1 dinaikkan ke 1,0, skornya justru turun menjadi 89,83. 20

Sebaliknya, ketika λ1 ditetapkan pada 0,5, kenaikan λ2 di atas 0,1 juga menurunkan performa: pada λ2 sebesar 0,2, PDMS menjadi 90,47, lalu terus menurun saat bobot ditambah lagi. 20

Pesannya bukan “semakin banyak supervisi semakin baik”. Model membutuhkan pembatas piksel dan latent yang cukup agar informasi penting terjaga, tetapi pembatas yang terlalu kuat dapat membuat representasi kurang luwes dalam menemukan pola yang relevan untuk berkendara.

Apa yang diukur oleh PDMS di NAVSIM v1?

PDMS adalah metrik gabungan untuk menilai kualitas berkendara dalam NAVSIM, sebuah benchmark simulasi mengemudi. Komponennya mencakup pencegahan tabrakan yang menjadi tanggung jawab kendaraan ego, kepatuhan terhadap area yang dapat dilalui, waktu menuju potensi tabrakan, kenyamanan gerakan, dan kemajuan kendaraan sepanjang rute. 2

Karena itu, skor 90,59 bukan metrik pengenalan gambar biasa. Nilai tersebut menggambarkan kualitas perencanaan berkendara dalam kondisi dan aturan evaluasi benchmark tersebut.

Namun, hasil simulasi tidak sama dengan pembuktian keselamatan di jalan umum. Skor NAVSIM belum merupakan validasi independen atas keselamatan atau performa HyWorldVLA dalam lalu lintas nyata yang jauh lebih beragam.

Sinyal bagi strategi AI internal BYD

Makalah ini dikaitkan dengan Automotive New Technology Research Institute milik BYD dan menjadi sinyal publik bahwa perusahaan tersebut berinvestasi dalam riset model fondasi untuk mengemudi otonom secara internal. 1

Laporan mengenai keterkaitan tim dengan keahlian robotika dari Harbin Institute of Technology menarik untuk dicatat. Meski begitu, bukti primer yang tersedia belum cukup untuk memastikan latar belakang akademik setiap peneliti secara individual. 5

Di tengah persaingan dengan pemain seperti NIO, XPeng, dan Li Auto, HyWorldVLA memberi BYD capaian riset VLA dan world modeling yang dapat diukur secara publik. Ini menunjukkan kemampuan riset, tetapi belum membuktikan bahwa BYD sudah memimpin dalam pengemudian otonom dunia nyata.

Skala produksi kendaraan BYD berpotensi menjadi keunggulan hanya jika riset ini dapat diterjemahkan menjadi produk yang aman, tervalidasi, dan dapat diterapkan secara efisien. Ujian berikutnya bukan sekadar skor benchmark baru, melainkan transisi yang andal dari model simulasi ke penggunaan di jalan.