Un modello IA da 30 miliardi di parametri, direttamente in auto

XPeng e Banma hanno annunciato una soluzione per l’abitacolo intelligente progettata per far funzionare a bordo modelli della classe 30 miliardi di parametri. Il sistema abbina il chip Turing di XPeng, che secondo l’annuncio arriva a una potenza di calcolo di 750 TOPS per chip, al modello multimodale AutoOmni di Banma. L’impostazione è «prima sul dispositivo, con il cloud come supporto». 61821

Per ora, però, si tratta di una soluzione annunciata: le fonti disponibili non indicano un’auto di serie che la adotterà né una data di lancio. 618

Cosa fa ciascuna azienda

XPeng mette a disposizione la propria piattaforma di calcolo Turing per veicoli; Banma contribuisce con il modello AutoOmni per l’abitacolo. Tra le funzioni previste figurano conversazioni a più turni, interazione multimodale, domande e risposte offline e pianificazione di attività. 1821

L’annuncio si inserisce anche nei piani più ampi di XPeng: secondo Reuters, l’azienda intende offrire ad altre case automobilistiche chip, sistemi per l’abitacolo e altre tecnologie. Banma è invece descritta come fornitore di soluzioni per auto intelligenti sostenuto da Alibaba Group e SAIC Motor. 15

Elaborazione locale e cloud: i vantaggi possibili, non ancora misurati

Con un’architettura che privilegia l’elaborazione a bordo, le funzioni supportate possono essere gestite dall’auto senza inviare ogni richiesta a un server. L’esempio citato è la possibilità di fare domande offline; il cloud resta disponibile per alcune esigenze meno frequenti. In teoria, questo può rendere le funzioni locali meno dipendenti dalla connessione e ridurre i tempi di andata e ritorno in rete. 1821

Sono però vantaggi potenziali dell’architettura, non risultati dimostrati da test pubblicati. L’annuncio non fornisce misurazioni della latenza, non descrive nel dettaglio come vengano trattati i dati raccolti nell’abitacolo e non confronta il sistema con specifici modelli da 4B o 7B.

Anche il numero di parametri, da solo, non dimostra che un modello sia più rapido, capace o riservato nell’uso dei dati. Per stabilire eventuali differenze servono prove e dettagli d’implementazione che, al momento, non sono disponibili.

AutoOmni 2.0-23B-A3B è un modello separato

Banma ha presentato anche AutoOmni 2.0-23B-A3B, un modello distinto da 23 miliardi di parametri basato sull’architettura mixture of experts. L’azienda dichiara che, nelle attività abituali dell’abitacolo, le prestazioni sono paragonabili a quelle di modelli cloud da 230 miliardi di parametri; per le attività più complesse, sostiene che raggiungano il 90% delle prestazioni di modelli cloud di dimensioni simili. Si tratta di confronti dichiarati da Banma, non di risultati indipendenti. Le fonti disponibili non confermano che questo modello da 23B corrisponda alla configurazione di classe 30B della soluzione congiunta con XPeng. 4

Le incognite: auto, tempi e altri dispositivi

L’annuncio riguarda una soluzione per l’abitacolo, ma non identifica un veicolo di serie che la monterà né indica quando potrebbe arrivare sul mercato. Non conferma neppure l’impiego del sistema congiunto in robot o in altri dispositivi. 618

XPeng ha piani più ampi per concedere in licenza e adattare le proprie tecnologie ad altre case automobilistiche e per estendere alcune attività a robotica e altre applicazioni di IA fisica. Queste prospettive, però, sono distinte da una conferma di utilizzo della soluzione per l’abitacolo su altri dispositivi. 1

La prova concreta arriverà con l’eventuale adozione da parte delle case automobilistiche e con il funzionamento del sistema su veicoli reali. Fino ad allora, i 30 miliardi di parametri e l’approccio «prima a bordo» descrivono le capacità annunciate, non un vantaggio verificato rispetto a modelli più piccoli.