Come WeChat sta trasformando Xiaowei in un assistente nativo basato su WeLM

La novità più importante di Xiaowei non è che WeChat abbia aggiunto un altro chatbot. È il fatto che Tencent stia provando a trasformare l’intelligenza artificiale in un livello di comando interno all’app: l’utente può parlare o scrivere all’assistente, chiedergli di comunicare con i contatti e avviare servizi ospitati nei mini-programmi, senza passare a una destinazione AI separata. 1517

L’esperimento è attualmente limitato, ma la direzione è chiara: invece di proporre un’app autonoma in competizione con prodotti come Yuanbao, Xiaowei potrebbe diventare un’interfaccia conversazionale per la rete già esistente di persone, servizi e applicazioni di WeChat.

Dalla prima WeLM al modello che alimenta Xiaowei

La storia di WeLM parte da un modello cinese denso da 10 miliardi di parametri presentato nel 2022. A quel modello sono state attribuite buone prestazioni su 18 attività, ma i dettagli esatti di quei benchmark non risultano verificabili in modo indipendente sulla base delle fonti recuperate.

Il passaggio oggi più concreto è WeLM-80B, un modello da 80 miliardi di parametri complessivi che, secondo le informazioni pubblicate, ne attiva circa 3 miliardi per ogni token. È stato addestrato su meno di 14.000 miliardi di token e gli vengono attribuite capacità di ragionamento, comprensione multilingue e una finestra di contesto da 128K token. 711

WeLM-80B è stato indicato come il modello già integrato nell’assistente nativo Xiaowei per conversazione, ricerca, chiamate alle funzioni di WeChat e avvio dei servizi dei mini-programmi. 8912

Il gradino successivo è WeLM-617B: 617 miliardi di parametri totali e circa 23 miliardi attivati per token. Il modello risulta però ancora in sviluppo, non come versione pienamente distribuita di Xiaowei. L’obiettivo dichiarato è gestire compiti più impegnativi nell’ecosistema WeChat, tra cui la realizzazione intelligente di mini-programmi e la generazione di strumenti per l’assistente. 8912

Perché non vengono calcolati tutti i parametri?

WeLM-80B e WeLM-617B seguono la logica dei modelli Mixture of Experts, o MoE. In un’architettura di questo tipo, un router seleziona soltanto alcuni “esperti” della rete per elaborare ciascun token.

In pratica, WeLM-80B può disporre di una capacità complessiva da 80 miliardi di parametri, ma eseguire per ogni token un percorso vicino a quello di un modello con circa 3 miliardi di parametri attivi. Lo stesso principio vale per il 617B: i 617 miliardi non vengono tutti eseguiti a ogni passaggio, perché l’attivazione è limitata a circa 23 miliardi. 78

Questa distinzione è decisiva per un assistente destinato a gestire richieste frequenti e spesso semplici prese singolarmente: cercare informazioni, inviare messaggi, orientarsi tra i servizi, aprire un mini-programma o chiamare uno strumento. Ridurre il calcolo attivo per token può migliorare capacità di risposta, latenza e costi di erogazione, mantenendo al tempo stesso un ampio serbatoio di competenze specializzate. 78

C’è però una precisazione importante: 3 miliardi di parametri attivi non significano che un modello MoE da 80 miliardi costi esattamente quanto un modello denso da 3 miliardi. Tutti i pesi degli esperti devono comunque essere conservati e distribuiti nell’infrastruttura; restano quindi costi di memoria, instradamento, posizionamento e comunicazione tra dispositivi. Il vantaggio principale riguarda il calcolo eseguito per ogni token: non rende l’inferenza gratuita, ma la rende più plausibile su scala molto ampia.

Hidden Decoding: più calcolo interno senza allargare il Transformer

Il team WeLM sta inoltre esplorando Hidden Decoding, un metodo che cerca di aumentare la computazione latente senza rendere il modello principale più profondo o più largo.

L’idea è espandere ogni token in più flussi interni, ciascuno con embedding indipendenti, e conservare gli stati intermedi key-value dei flussi come parte del contesto. In questo modo, un singolo token può ricevere più elaborazione interna prima di produrre l’output visibile, senza aggiungere nuovi strati al backbone Transformer. 1

Nei test a parità di configurazione, Tencent ha confrontato le versioni standard con WeLM-HD4-80B e WeLM-HD4-617B, ottenute usando un fattore di espansione pari a quattro. Il team riferisce miglioramenti rispetto ai rispettivi modelli autoregressivi di base su benchmark condivisi. 16

Il prezzo teorico di un simile approccio è evidente: se ogni token viene replicato in (n) flussi e tutti i flussi prestano attenzione gli uni agli altri in ogni strato, il costo dell’attenzione potrebbe crescere in modo approssimativamente quadratico rispetto a (n).

Per questo entra in gioco la Stream-Factorized Attention. La maggior parte degli strati lavora principalmente all’interno del singolo flusso, mentre solo alcuni strati consentono la comunicazione tra flussi. Secondo il team, questa scelta porta il costo aggiuntivo dell’attenzione verso una crescita quasi lineare invece che quadratica e rende Hidden Decoding addestrabile e utilizzabile anche su modelli MoE oltre i 100 miliardi di parametri. 5

L’ipotesi strategica: WeChat come sistema operativo conversazionale

Sparse MoE e Hidden Decoding indicano potenzialmente un modello operativo a più livelli:

• WeLM-80B per le interazioni quotidiane, numerose e relativamente standardizzate;
• modelli più capaci o più calcolo latente per pianificazione, selezione degli strumenti e procedure con più passaggi;
• WeLM-617B, se e quando sarà pronto, per compiti complessi come sviluppo di mini-programmi e generazione di strumenti.

In questa prospettiva, Xiaowei non dovrebbe limitarsi a rispondere alle domande. Dovrebbe interpretare un’intenzione naturale e trasformarla in una sequenza di azioni nell’ambiente già presente: trovare, decidere, chiamare il servizio e completare l’operazione.

La riuscita dipenderà però da elementi che vanno oltre il modello: autorizzazioni, identità dell’utente, pagamenti, API dei mini-programmi, affidabilità delle azioni e consenso. Se questi livelli saranno progettati correttamente, WeChat potrà aggiungere l’AI come interfaccia al proprio ecosistema, invece di costringere gli utenti a trasferirsi in una nuova super-app autonoma.

Quest’ultima è un’inferenza strategica basata sulla direzione tecnica descritta dalle fonti, non una roadmap di prodotto confermata.