WeChatin Xiaowei kehittyy chatbotista koko ekosysteemin käyttöliittymäksi

Xiaowein kiinnostavin piirre ei ole se, että WeChat julkaisee jälleen yhden chatbotin. Olennaisempaa on sen sijoittaminen suoraan WeChatin sisälle: käyttäjä voi keskustella avustajan kanssa tekstillä tai puheella, lähettää viestejä, hyödyntää sovelluksen toimintoja ja avata miniohjelmia ilman siirtymistä erilliseen tekoälysovellukseen. 151719

Tämä erottaa Xiaowein itsenäisistä tekoälysovelluksista, kuten Yuanbaosta. Strateginen ajatus näyttää olevan tekoäly WeChatin olemassa olevan verkoston käyttöliittymänä – ihmisten, palvelujen, hakujen ja miniohjelmien päällä – eikä uusi sovellus, johon käyttäjät pitäisi houkutella erikseen.

WeLM:n kehityskaari

WeLM-perheen taustalla on vuoden 2022 tienoilla julkaistu 10 miljardin parametrin kiinankielinen malli, jonka kerrottiin suoriutuneen vahvasti 18 tehtävässä. Näiden täsmällisten vertailutulosten riippumatonta vahvistamista ei kuitenkaan ole tässä lähdeaineistossa mahdollista tehdä. Malli toimii ennen kaikkea osoituksena siitä, mistä WeChatin kielimallien kehityslinja on lähtenyt. 4

Uusin julkisuudessa kuvattu ja Xiaoweihin liitetty tuotantotason askel on WeLM-80B. Sen kokonaiskapasiteetti on 80 miljardia parametria, mutta yhtä tokenia käsiteltäessä aktiivisena on noin 3 miljardia parametria. Mallin kerrotaan olevan koulutettu alle 14 biljoonan tokenin aineistolla, ja sen ominaisuuksiin kuuluvat päättely, monikielinen ymmärrys sekä 128 000 tokenin konteksti-ikkuna. 711

WeLM-80B:n on raportoitu vastaavan Xiaowien keskusteluista ja hauista sekä WeChatin toimintojen ja miniohjelmapalvelujen kutsumisesta. 89

Seuraava taso on WeLM-617B, jossa kokonaisparametreja on 617 miljardia ja aktiivisia noin 23 miljardia parametria tokenia kohden. Malli on kuitenkin lähteiden mukaan edelleen kehitteillä, ei kokonaan käyttöönotettu Xiaowien tuotantomalli. Sen tarkoitus on tarjota vahvempaa yleistä ymmärrystä ja päättelyä vaativiin ekosysteemitehtäviin, kuten älykkääseen miniohjelmien kehittämiseen ja Xiaowien työkalujen automaattiseen luomiseen. 8912

Miksi harva MoE-rakenne on tärkeä?

WeLM-80B ja WeLM-617B perustuvat harvaan Mixture-of-Experts- eli MoE-rakenteeseen. Siinä reititin valitsee kunkin tokenin kohdalla vain pienen joukon asiantuntijaverkkoja eli eksperttejä sen sijaan, että koko malli laskettaisiin läpi joka kerta.

Tämän ansiosta 80 miljardin parametrin mallin kapasiteetti voi olla laaja, vaikka yhden tokenin laskenta tapahtuu lähempänä noin 3 miljardin aktiivisen parametrin polkua. Vastaavasti 617 miljardin parametrin mallin ei tarvitse käyttää kaikkia 617 miljardia parametria jokaisen tokenin käsittelyssä. 78

Tämä on merkittävää palvelussa, jonka pitäisi käsitellä jatkuvasti suuria määriä suhteellisen lyhyitä pyyntöjä: hakuja, viestejä, palvelujen etsimistä ja työkalukutsuja. Pienempi aktiivinen laskenta voi parantaa läpimenoa, viivettä ja palvelun kustannustehokkuutta, samalla kun malli säilyttää käyttöönsä paljon erikoistunutta kapasiteettia.

Lukuja ei kuitenkaan pidä tulkita liian suoraviivaisesti. ”3 miljardia aktiivista parametria” ei tarkoita, että 80B-mallin käyttäminen maksaisi täsmälleen saman verran kuin tiheän 3B-mallin käyttäminen. Kaikki asiantuntijapainot on edelleen tallennettava, sijoitettava palvelimille ja reititettävä. Lisäksi laitteiden välinen tiedonsiirto ja muistinkäyttö aiheuttavat kustannuksia. Etu syntyy ennen kaikkea pienemmästä tokenikohtaisesta laskennasta – ei siitä, että suuri malli olisi ilmainen.

Hidden Decoding lisää laskentaa ilman leveämpää Transformer-mallia

WeLM-tiimi on tutkinut myös Hidden Decoding -menetelmää. Sen perusidea ei ole tehdä Transformer-verkosta syvempää tai leveämpää, vaan laajentaa jokainen syötteen token useiksi sisäisiksi virroiksi. Virroilla on erilliset upotukset, ja niiden välitilat voidaan säilyttää osana mallin kontekstia.

Näin yksi ulospäin tuotettu token voi sisältää enemmän piilossa tapahtuvaa laskentaa ilman, että mallin varsinainen Transformer-runko kasvaa. 213

WeLM-tiimin raportoimissa vertailuissa HD4-versiot sekä 80B- että 617B-malleista päihittivät vastaavat Hidden Decoding -menetelmää käyttämättömät lähtömallit. Tulokset ovat tiimin omia kokeita, joten niiden merkitystä on syytä arvioida suhteessa käytettyihin vertailuasetelmiin. 16

Menetelmän haaste on kustannus: jos jokainen token vain monistettaisiin n sisäiseksi virraksi ja kaikki virrat kiinnittäisivät huomiota toisiinsa, huomioinnin kustannus kasvaisi likimäärin neliöllisesti n:n mukana.

Tätä varten tiimi on kehittänyt Stream-Factorized Attention -ratkaisun. Suurin osa kerroksista käsittelee virtoja erikseen, ja vain muutamat kerrokset sekoittavat tietoa virtojen välillä. Tällöin lisäkustannus saadaan lähemmäksi lineaarista kasvua kuin naiivi toteutus, mikä helpottaa Hidden Decodingin kouluttamista ja tarjoamista myös yli 100 miljardin parametrin MoE-mittakaavassa.

Voiko Xiaoweista tulla WeChatin käyttökerros?

Yhdessä harva MoE ja Hidden Decoding vihjaavat porrastettuun toimintamalliin. Tehokkaampi WeLM-80B voisi hoitaa arkiset ja erittäin yleiset vuorovaikutukset, kun taas suurempi malli tai enemmän piilolaskentaa voitaisiin varata vaikeampaan suunnitteluun, työkalujen valintaan ja monivaiheisiin tehtäviin.

Jos käyttöoikeudet, henkilöllisyys, maksaminen, miniohjelmien rajapinnat, luotettavuuden valvonta ja käyttäjän suostumus toteutetaan huolellisesti, Xiaowei voisi muuttaa luonnollisen kielen toiminnaksi WeChatin sisällä: etsi, päätä, käynnistä ja vie tehtävä loppuun.

Tällöin käyttäjää ei tarvitsisi ohjata uuteen erilliseen tekoälysuper­sovellukseen. Tekoäly toimisi pikemminkin WeChatin jo olemassa olevan palvelu- ja viestiverkoston päällä olevana käyttökerroksena. Tämä on kuitenkin strateginen tulkinta kehityksen suunnasta, ei vahvistettu tuotetiekartta.