Fra språkmodell til handlingslag: Slik utvikles WeChats Xiaowei

Xiaowei er en agent, ikke bare et chattevindu

WeChats Xiaowei testes i liten skala som en innfødt AI-assistent inne i selve appen. Brukere som får tilgang, kan kommunisere med Xiaowei via tekst eller tale. Assistenten skal blant annet kunne svare på spørsmål, søke etter informasjon, bruke WeChats egne funksjoner, kommunisere med kontakter og åpne tjenester i miniprogrammer. 151719

Det viktige skillet går derfor mellom Xiaowei og frittstående AI-apper som Yuanbao. I stedet for å sende brukeren til en separat AI-destinasjon, legges assistenten oppå WeChats eksisterende nettverk av personer, tjenester og miniprogrammer. Strategien kan oppsummeres som AI som grensesnitt til WeChat: Brukeren beskriver hva han eller hun vil gjøre, og assistenten forsøker å finne riktig funksjon eller tjeneste.

Fra WeLMs tidlige modell til WeLM-80B

WeLM-familien har røtter i en kinesisk språkmodell på 10 milliarder parametere som ble presentert i 2022. Den skal ha gjort det sterkt på 18 oppgaver, men de nøyaktige benchmarkopplysningene kunne ikke verifiseres uavhengig i materialet som ligger til grunn her.

Den nyeste produksjonsnære modellen som er offentlig omtalt, er WeLM-80B. Den har:

• 80 milliarder parametere totalt
• omtrent 3 milliarder aktiverte parametere per token
• trening på færre enn 14 billioner tokens
• oppgitte egenskaper innen resonnering og flerspråklig forståelse
• et kontekstvindu på 128K tokens 711

WeLM-80B er rapportert som modellen som driver Xiaowei, med støtte for samtaler, søk, kall til WeChat-funksjoner og aktivering av miniprogramtjenester. 89

Hvorfor er 80 milliarder ikke det samme som 80 milliarder i hver forespørsel?

WeLM-80B beskrives som en sparsifisert MoE-modell. MoE står for Mixture of Experts, eller en blanding av eksperter. I en slik modell finnes det mange ekspertmoduler, men en ruter velger bare et begrenset utvalg for hvert token.

Det betyr at modellen kan ha en stor samlet kunnskaps- og kapasitetsbase, samtidig som beregningen for den enkelte token går gjennom en langt mindre del av nettverket. For WeLM-80B er rundt 3 milliarder parametere aktive per token, ikke alle 80 milliardene. WeLM-617B følger samme grunnidé: 617 milliarder totalt, men cirka 23 milliarder aktive per token. 78

Dette er særlig relevant for en assistent som skal håndtere mange korte og hyppige forespørsler: søk, meldinger, navigering i tjenester og kall til verktøy. Lavere aktiv beregning kan bidra til bedre gjennomstrømming, kortere svartid og lavere kostnad per forespørsel, samtidig som modellen beholder tilgang til en langt større samlet parameterkapasitet.

Det er likevel viktig å ikke tolke «3 milliarder aktive» som at modellen koster nøyaktig det samme som en tett, eller dense, modell på 3 milliarder parametere. Alle ekspertvektene må fortsatt lagres og plasseres, og ruting mellom enheter gir egne minne- og kommunikasjonskostnader. Gevinsten ligger først og fremst i mindre beregning per token – ikke i at modellen blir kostnadsfri å drifte.

WeLM-617B er neste nivå, men ikke ferdig utrullet

WeLM-617B er oppgitt å ha 617 milliarder parametere totalt og omtrent 23 milliarder aktive parametere per token. Modellen er fortsatt beskrevet som under utvikling, og bør derfor ikke omtales som en fullt utrullet Xiaowei-modell. 8912

Den er i stedet ment for mer komplekse oppgaver i WeChat-økosystemet, med sterkere generell språkforståelse og logisk resonnering. Eksemplene som er nevnt, omfatter intelligent utvikling av miniprogrammer og automatisk generering av verktøy til Xiaowei. 8912

Det peker mot en arbeidsdeling mellom modellene: WeLM-80B kan håndtere hverdagslige og svært hyppige interaksjoner, mens en større modell kan reserveres for langsiktig planlegging, kode, verktøybygging og flertrinnsoppgaver.

Hidden Decoding skal kjøpe mer «tenketid» uten et bredere Transformer-hovednettverk

WeLM-teamet utforsker også en metode kalt Hidden Decoding. I stedet for å gjøre Transformer-modellen dypere eller bredere, utvides hvert inndata-token til flere interne strømmer med separate representasjoner. Mellomtilstanden i disse strømmene beholdes som kontekst.

På den måten kan modellen utføre mer latent beregning per token som faktisk vises ut til brukeren, uten at hovedmodellen må utvides med flere lag eller større bredde. 213

I sammenlignbare eksperimenter rapporterer teamet at HD4-versjonene av både 80B- og 617B-modellene gjorde det bedre enn de tilsvarende modellene uten Hidden Decoding. 112 Resultatet er foreløpig et teknisk eksperiment og må ikke forveksles med en bekreftet produktplan for Xiaowei.

Stream-Factorized Attention er det som gjør ideen mulig i stor skala

Å dele hvert token i n strømmer naivt ville kunne gjøre kryssoppmerksomheten omtrent kvadratisk i antall strømmer. Stream-Factorized Attention forsøker å unngå dette ved å la de fleste lagene arbeide innenfor hver enkelt strøm. Bare noen få lag blander informasjon på tvers av strømmer.

Dermed kan den ekstra oppmerksomhetskostnaden vokse nærmere lineært enn kvadratisk med antall strømmer. Tencent beskriver dette som en viktig forutsetning for å kunne trene og levere Hidden Decoding på MoE-modeller i 100B+-klassen. 5

Kan WeChat bli et operativsystem for AI-handlinger?

Kombinasjonen av sparsifisert MoE og Hidden Decoding peker mot en trinnvis modell for AI-drift:

1. En effektiv WeLM-80B-lignende modell håndterer rutineoppgaver med høy frekvens.
2. Større modeller eller mer intern beregning brukes når oppgaven krever planlegging og resonnering.
3. Xiaowei velger verktøy og tjenester i WeChat-økosystemet for å gjennomføre handlingen.

I praksis kan det bety at brukeren går fra å lete i menyer til å beskrive et mål med vanlig språk: finne en tjeneste, velge et alternativ, åpne riktig miniprogram og fullføre oppgaven. Dersom tillatelser, identitet, betalinger, API-er, samtykke og pålitelighetskontroller utformes godt, kan Xiaowei bli et handlingslag over WeChats eksisterende tjenester – snarere enn en ny separat «superapp» for kunstig intelligens.

Det siste er imidlertid en strategisk tolkning av retningen, ikke en bekreftet produktplan. Xiaowei er fortsatt under begrenset testing, og WeLM-617B er fortsatt under utvikling. 81215