Van chatbot naar bedieningslaag: hoe WeChat Xiaowei en WeLM opschaalt

Xiaowei is vooral interessant omdat het geen nieuwe chatbotbestemming naast WeChat wil zijn. De assistent wordt juist ín de app geplaatst: gebruikers kunnen hem via tekst of stem aanspreken, met contacten communiceren en mini-programma’s openen. 15 De strategische inzet lijkt daarmee eerder AI als bedieningslaag voor WeChats bestaande netwerk van mensen, diensten en mini-programma’s dan een rechtstreeks alternatief voor zelfstandige apps zoals Yuanbao.

Van WeLM-10B naar WeLM-80B

De ontwikkeling bouwt voort op WeLM, het taalmodel dat WeChats AI-team al langer ontwikkelt. De in 2022 gepresenteerde Chinese WeLM-versie met 10 miljard parameters vormt de historische basis van die modelreeks. Er werd gemeld dat dit model sterk presteerde op 18 taken, maar die precieze benchmarkdetails konden op basis van de geraadpleegde bronnen niet onafhankelijk worden geverifieerd.

De huidige, voor Xiaowei relevante stap is WeLM-80B. Dit model heeft in totaal 80 miljard parameters, maar activeert per token ongeveer 3 miljard parameters. Volgens de beschikbare informatie is het getraind op minder dan 14 biljoen tokens en beschikt het over mogelijkheden voor redeneren, meertalige taalverwerking en een contextvenster van 128K tokens. 711

WeLM-80B zou Xiaowei aandrijven voor gesprekken en zoekopdrachten, maar ook voor het aanroepen van oorspronkelijke WeChat-functies en mini-programma’s. 89 Daarmee verschuift de rol van een taalmodel: het hoeft niet alleen een antwoord te formuleren, maar moet ook kunnen bepalen welke functie of dienst de gebruiker vervolgens nodig heeft.

WeLM-617B is groter, maar nog niet uitgerold

De volgende modeltrap is WeLM-617B. Die versie bevat 617 miljard parameters en activeert er tijdens een inferentie ongeveer 23 miljard. Het model gebruikt eveneens een sparse Mixture-of-Experts-architectuur, maar wordt nog als ‘in ontwikkeling’ omschreven. Het is daarom niet correct om WeLM-617B te beschouwen als een volledig uitgerolde Xiaowei-versie. 8912

De beoogde toepassing ligt bij zwaardere taken binnen het WeChat-ecosysteem. Daarbij worden onder meer intelligente ontwikkeling van mini-programma’s en het automatisch genereren van hulpmiddelen voor Xiaowei genoemd. 8912 De gedachte is dus niet simpelweg: één zo groot mogelijk model voor elke vraag. Eenvoudige, veelvoorkomende interacties kunnen bij een efficiëntere variant blijven; complexere opdrachten zouden naar een krachtiger model of een intensievere redeneerroute kunnen gaan.

Waarom sparse MoE belangrijk is op WeChat-schaal

Bij een Mixture-of-Experts-model bestaat het totale parameterbestand uit meerdere gespecialiseerde ‘experts’. Een router selecteert per token slechts een kleine groep daarvan. WeLM-80B kan zo een capaciteitspool van 80 miljard parameters hebben, terwijl de berekening per token dichter bij een pad van ongeveer 3 miljard actieve parameters ligt. Bij WeLM-617B worden niet alle 617 miljard parameters voor elk token uitgevoerd.

Dat verschil is cruciaal voor een ingebouwde assistent die grote aantallen korte verzoeken moet verwerken: zoeken, een bericht opstellen, een contact benaderen, een dienst vinden of een mini-programma starten. Minder actieve berekening per token kan de doorvoer verhogen en de latentie en serverkosten verlagen, terwijl het model toegang houdt tot een veel grotere verzameling gespecialiseerde capaciteit. 78

Daarbij hoort wel een belangrijke nuance. ‘3 miljard actieve parameters’ betekent niet dat een model met 80 miljard parameters precies even goedkoop is als een dicht model met 3 miljard parameters. De volledige expertgewichten moeten nog altijd worden opgeslagen en verdeeld. Ook routering, geheugenbeheer en communicatie tussen chips brengen kosten met zich mee. De belangrijkste winst zit in de lagere rekenlast per token; het maakt grootschalige verwerking aannemelijker, maar niet gratis.

Hidden Decoding: meer interne berekening zonder een grotere Transformer

Het WeLM-team onderzoekt daarnaast Hidden Decoding als een andere manier om modelcapaciteit op te schalen. In plaats van de Transformer-basis simpelweg dieper of breder te maken, wordt elk invoertoken uitgebreid naar meerdere interne stromen. Die stromen gebruiken afzonderlijke embeddings en hun tussenliggende key-value-states blijven als context beschikbaar. Zo krijgt elk extern gegenereerd token meer latente berekening, zonder dat de hoofdarchitectuur met extra Transformerlagen of een grotere breedte moet worden uitgebreid. 213

In vergelijkende experimenten meldt het team dat de HD4-versies van zowel het 80B- als het 617B-model beter presteerden dan hun overeenkomstige modellen zonder Hidden Decoding. 112 Dat zijn resultaten uit de tests van het team en geen garantie dat elke Xiaowei-gebruiker deze modellen of verbeteringen al krijgt.

De rol van Stream-Factorized Attention

Zonder aanvullende optimalisatie zou het opsplitsen van elk token in bijvoorbeeld (n) stromen de aandachtberekening snel duur maken. Vooral informatie-uitwisseling tussen alle stromen kan ongeveer kwadratisch groeien met (n).

Stream-Factorized Attention beperkt daarom de meeste aandachtberekening tot afzonderlijke stromen. Slechts in een beperkt aantal lagen mogen de stromen onderling informatie uitwisselen. Volgens Tencent brengt dat de extra aandachtkosten dichter bij een lineaire groei en maakt het Hidden Decoding daardoor trainbaar en inzetbaar bij MoE-modellen van meer dan 100 miljard parameters. 5

AI als laag boven op WeChat

Samen wijzen sparse MoE en Hidden Decoding op een mogelijk gelaagd bedrijfsmodel. Een efficiënte WeLM-80B-A3B-achtige route kan alledaagse, zeer frequente verzoeken afhandelen. Een krachtiger model of meer verborgen berekening kan worden ingezet voor plannen met meerdere stappen, complexere toolkeuze, codegeneratie en het bouwen van nieuwe mini-programma’s.

Als rechtenbeheer, identiteit, betalingen, API’s van mini-programma’s, betrouwbaarheid en toestemming van gebruikers goed worden geregeld, kan Xiaowei natuurlijke taal omzetten in handelingen binnen de bestaande WeChat-omgeving: vinden, beslissen, aanroepen en afronden. De gebruiker hoeft dan niet eerst naar een aparte AI-superapp over te stappen.

Dat laatste is een strategische gevolgtrekking, geen bevestigde productroute. De kern van de ontwikkeling is wel duidelijk: WeChat probeert AI niet alleen als gesprekspartner toe te voegen, maar als een interface waarmee gebruikers toegang krijgen tot de functies en diensten die al in het platform aanwezig zijn.