Cambricon nel board di PyTorch: la scommessa è sulla portabilità del software AI

L’ingresso di Cambricon nella PyTorch Foundation come membro Platinum va letto soprattutto come una mossa di lungo periodo sul software e sull’ecosistema, non come l’annuncio di un nuovo prodotto in silicio. L’obiettivo è rendere gli acceleratori MLU di Cambricon un bersaglio più naturale per l’intero ciclo di vita dell’AI: sviluppo e addestramento dei modelli in PyTorch, fino al serving dell’inferenza in produzione. 5

Alla PyTorch Conference China di Shanghai, Cambricon e Alibaba Cloud sono entrate come membri Platinum, mentre Ant Group ha aderito al livello Gold. Lo status Platinum assegna a Cambricon un seggio nel Governing Board della Foundation e una rappresentanza nel Technical Advisory Council (TAC). 156

Perché il seggio nel board conta

Un posto nel board non garantisce che le proposte tecniche di Cambricon vengano adottate. Offre però all’azienda una sede formale nelle discussioni su missione, perimetro, politiche e direzione tecnica della Foundation.

Il rappresentante di Cambricon nel Governing Board è Jin Wang, Senior Director of AI Frameworks and Infrastructure. La partecipazione al TAC avvicina inoltre l’azienda ai confronti tecnici che possono influire sul modo in cui i backend per acceleratori vengono integrati e mantenuti in PyTorch. 5

Per l’adozione di un acceleratore non bastano le specifiche del chip. Agli sviluppatori servono supporto affidabile nel framework, strumenti compatibili, documentazione utilizzabile, interfacce stabili e percorsi chiari verso il serving in produzione. Un fornitore hardware costretto a mantenere un grande fork separato di PyTorch deve affrontare un costo ricorrente di compatibilità ogni volta che il progetto upstream evolve.

«Upstream First»: evitare il problema di una pila separata

Cambricon definisce il proprio approccio «Upstream First». L’azienda afferma di aver contribuito a torch.compile, operatori Eager, runtime del dispositivo, calcolo distribuito, precisione mista automatica (AMP), DataLoader e Profiler. 5

La logica strategica è contribuire alle astrazioni generali di PyTorch, anziché dipendere soltanto da un’implementazione isolata e specifica del fornitore. Se il lavoro viene accettato e mantenuto nel progetto upstream, i vantaggi pratici potenziali sono diversi:

• Minori costi di manutenzione: meno necessità di riallineare continuamente un backend separato alle nuove versioni di PyTorch.
• Flussi di lavoro più coerenti: gli sviluppatori possono usare API e strumenti PyTorch familiari, senza dover apprendere una pila sostanzialmente diversa.
• Maggiore portabilità: il codice dei modelli e gli strumenti circostanti potrebbero richiedere meno modifiche quando un team valuta piattaforme di accelerazione supportate.
• Integrazioni più durature: interfacce comuni del framework possono essere più stabili di patch ad hoc legate a uno specifico stack hardware.

Il lavoro Torch-MLU di Cambricon, incluso un percorso d’integrazione in stile PrivateUse1, indica l’intenzione di usare i meccanismi già previsti da PyTorch per estendere il supporto a dispositivi aggiuntivi. Il risultato atteso è meno codice specifico dell’acceleratore per gli utenti; non è però una garanzia. Dipenderà dalla qualità dell’implementazione, dalla revisione upstream e dalla compatibilità continua con le future release di PyTorch.

Dallo sviluppo in PyTorch al serving con vLLM

L’annuncio dell’adesione indica anche un obiettivo più ampio: coprire il percorso completo dalla sperimentazione al rilascio dell’inferenza.

Mark Collier, direttore esecutivo della PyTorch Foundation, ha descritto la sfida come la capacità di consentire agli sviluppatori di creare e ottimizzare modelli in PyTorch, per poi servirli in modo efficiente con vLLM. 5 Per Cambricon si tratta di livelli complementari:

• Il supporto PyTorch è centrale per sviluppo dei modelli, training, compilazione, debugging e strumenti dell’ecosistema.
• Il supporto vLLM riguarda il livello di serving in produzione, dove contano efficienza dell’inferenza e accesso ai modelli aperti più diffusi.

Cambricon dichiara di proseguire il lavoro con vLLM per abilitare modelli aperti sul proprio hardware e di pianificare ulteriori investimenti in infrastrutture di compilazione, CI/CD e supporto indipendente dal dispositivo per le librerie di dominio PyTorch. 5 Nel loro insieme, queste iniziative puntano a rendere la piattaforma MLU utilizzabile non solo in benchmark o porting di singoli modelli, ma in un flusso più completo, dallo sviluppatore alla produzione.

Cosa osservare nei prossimi mesi

Le prove più significative arriveranno dopo l’annuncio. Per sviluppatori e team infrastrutturali, i segnali concreti di maturazione dell’integrazione saranno:

1. Contributi effettivamente integrati upstream: le modifiche accettate in PyTorch contano più delle intenzioni annunciate.
2. Compatibilità tra release: Torch-MLU dovrà stare al passo con gli aggiornamenti di PyTorch senza richiedere riscritture disruptive.
3. Copertura dei carichi di lavoro reali: il supporto dovrebbe estendersi ad architetture comuni, schemi di training distribuito, percorsi di compilazione e strumenti di debug.
4. Qualità dell’inferenza in produzione: l’integrazione vLLM dovrà offrire supporto affidabile ai modelli e flussi di deployment manutenibili.
5. Indicazioni chiare sull’integrazione degli acceleratori: le discussioni nel TAC e le future pratiche PyTorch potrebbero fornire percorsi più prevedibili per i backend hardware.

Il limite da non ignorare

L’adesione Platinum e la rappresentanza nella governance sono rilevanti sul piano strategico, ma non dimostrano né parità prestazionale con altri acceleratori né un’ampia copertura dei modelli. Non implicano neppure l’accettazione automatica dei design di backend preferiti da Cambricon.

Questi risultati dipenderanno da ciò che verrà realmente integrato upstream, dalla valutazione della comunità tecnica di PyTorch e del TAC, e dalla capacità di Cambricon di mantenere nel tempo integrazioni solide con PyTorch e vLLM. Per ora, l’annuncio segnala soprattutto che Cambricon vuole competere per gli sviluppatori attraverso compatibilità con l’open source e partecipazione all’ecosistema, non semplicemente con un altro lancio hardware «Day-0». 5