HyWorldVLA di BYD combina modelli del mondo a pixel e nello spazio latente

BYD ha presentato HyWorldVLA, un modello Vision-Language-Action (VLA) per la guida autonoma basato su un «modello del mondo» ibrido. L’idea è usare due modi complementari di rappresentare la strada: previsioni dettagliate a livello di pixel, per rimanere ancorati alla scena visiva, e rappresentazioni compresse nello spazio latente, più efficienti per prevedere e pianificare una traiettoria. 1

Il compromesso tra dettaglio e costi di calcolo

Prevedere i fotogrammi futuri pixel per pixel può conservare moltissimi dettagli della scena, ma richiede una notevole capacità di calcolo. Un modello che opera nello spazio latente, invece, lavora su una versione compressa e astratta delle immagini: è più pratico in esecuzione, ma rischia di perdere informazioni importanti per guidare. 1

HyWorldVLA cerca di non scegliere in modo esclusivo tra le due strade. Durante l’addestramento usa la supervisione sui pixel affinché lo spazio latente resti legato alla scena reale; nella fase operativa prevede invece soltanto caratteristiche latenti, che vengono passate a un action expert, il modulo incaricato di produrre le traiettorie. 17

Le tre fasi dell’addestramento

1. Video VAE guidato dal linguaggio

Nella prima fase, un video variational autoencoder (VAE) comprime sequenze video di guida in caratteristiche latenti. Il linguaggio viene utilizzato come contesto semantico durante l’addestramento del compressore. 25

L’obiettivo non è soltanto ridurre le dimensioni della rappresentazione video: lo spazio latente deve mantenere informazioni utili per anticipare ciò che accadrà e, in ultima analisi, per la guida.

2. Pre-addestramento ibrido del modello del mondo

Successivamente, immagini, azioni, elementi linguistici e caratteristiche latenti vengono convertiti in token discreti e trattati con una previsione autoregressiva. In questa fase il modello predice i futuri latenti video e, contemporaneamente, ricostruisce i futuri fotogrammi. 12

È qui che entra in gioco la doppia supervisione:

• la previsione e ricostruzione dei pixel preserva un ancoraggio visivo fine;
• la previsione delle rappresentazioni latenti favorisce un segnale più compatto, adatto alla pianificazione futura.

In pratica, la perdita sui pixel agisce come un vincolo: impedisce al modello latente di comprimere troppo la scena e di scartare dettagli decisivi. 17

3. Ottimizzazione congiunta con l’action expert

Nell’ultima fase, il modello del mondo viene ottimizzato insieme a un modello specializzato in azioni e traiettorie. Quando è in funzione, il sistema predice caratteristiche latenti anziché generare interi fotogrammi a livello di pixel; tali caratteristiche alimentano l’action expert, che produce le traiettorie di guida. 1

La separazione serve soprattutto all’efficienza: la costosa supervisione sui pixel modella la rappresentazione durante l’addestramento, senza imporre lo stesso costo durante l’inferenza in tempo reale.

Cosa indicano i test di ablazione

Su NAVSIM v1, HyWorldVLA ha riportato un punteggio di 90,59 PDMS, descritto dal paper e dalle relative pubblicazioni come il miglior risultato pubblico disponibile in quel momento. 17

I test di ablazione suggeriscono che l’architettura ibrida non sia una semplice somma di componenti:

• senza previsione a livello di pixel, il PDMS scende da 90,59 a 87,50; 7
• senza elaborazione nello spazio latente, scende a 89,91; 7
• senza guida linguistica nel modulo latente, il punteggio cala a 90,35. 20

I risultati sostengono l’ipotesi dei ricercatori: la supervisione dei pixel e la previsione latente risolvono parti diverse del problema. La prima conserva la fedeltà alla scena, la seconda consente una rappresentazione più economica per decidere le azioni.

Perché pesare bene le funzioni di perdita conta

Il paper valuta due pesi: λ1 per la perdita di previsione dei video token e λ2 per la coerenza della rappresentazione latente. 20

Con λ2 fissato a 0,1, aumentare λ1 da 0,1 a 0,5 migliora il PDMS da 90,48 a 90,59. Portando λ1 a 1,0, invece, il punteggio scende a 89,83. 20

Con λ1 fissato a 0,5, aumentare λ2 oltre 0,1 riduce le prestazioni: a 0,2 il PDMS è 90,47, e la tendenza resta negativa con valori superiori. 20 Il punto non è quindi che una supervisione più intensa migliori sempre il modello: serve un equilibrio tra vincoli sui pixel e sui latenti, sufficiente a preservare le informazioni utili senza rendere la rappresentazione troppo rigida.

Che cosa misura il PDMS di NAVSIM v1

Il PDMS è un indicatore composito della qualità di guida nel benchmark NAVSIM. Include aspetti quali l’assenza di collisioni attribuibili al veicolo controllato dal sistema, il rispetto dell’area guidabile, il tempo prima di una possibile collisione, il comfort del movimento e l’avanzamento lungo il percorso. 2

Il valore di 90,59, quindi, non è una semplice misura di riconoscimento delle immagini: sintetizza le prestazioni della pianificazione di guida all’interno di quel benchmark. Resta però una valutazione in ambiente simulato e non equivale a una conferma indipendente della sicurezza o delle capacità su strada aperta al traffico.

Che cosa segnala sulla strategia AI di BYD

Il lavoro è attribuito all’Automotive New Technology Research Institute di BYD e rappresenta un segnale pubblico dell’investimento dell’azienda nella ricerca interna sui foundation model per la guida autonoma. 1 Le notizie su un collegamento del team con competenze di robotica dell’Harbin Institute of Technology sono interessanti, ma le fonti primarie disponibili non bastano a documentare il percorso accademico di ogni ricercatore. 5

Nel confronto con concorrenti come NIO, XPeng e Li Auto, HyWorldVLA offre a BYD un risultato di ricerca pubblico e misurabile nel campo dei VLA e dei modelli del mondo. È un’indicazione di capacità di ricerca, non la prova che BYD disponga già di un vantaggio dimostrato nella guida autonoma reale.

La scala produttiva di BYD potrebbe diventare un vantaggio solo se l’azienda riuscirà a trasformare questo risultato di ricerca in un prodotto sicuro, validato e distribuibile in modo efficiente. Il test più significativo non sarà un altro benchmark, ma il passaggio affidabile dal modello e dalla simulazione al funzionamento su strada.