HySparse2 keventää pitkän kontekstin käsittelyä – mutta säilyttää pääsyn vanhoihin tietoihin

Pitkään toimiva tekoälyagentti voi saada työkaluiltaan suuria määriä uutta tekstiä samalla, kun aiempi keskustelu pysyy mukana. Ennen vastauksen tuottamista mallin on käsiteltävä tämä kertynyt syöte – vaihetta kutsutaan esikäsittelyksi (prefill). Xiaomin esittelemä HySparse2 pyrkii vähentämään sen laskentaa ja muistinkulutusta säilyttäen pääsyn sekä tuoreisiin että kauempana historiassa oleviin tokeneihin. Kyse on MiMo-V3:een liittyvästä arkkitehtuuritutkimuksesta, ei osoituksesta, että uudet MiMo-V3-mallipainot olisi julkaistu avoimesti. 34

Miksi pitkää syötettä ei tarvitse käsitellä kahdesti?

HySparse2 jakaa mallin YOCO-tyylisesti itse-dekooderiin (self-decoder) ja ristidekooderiin (cross-decoder). Itse-dekooderi käsittelee pitkän syötteen. KV Bridging -menetelmässä ristidekooderin täyden huomion kerrokset muodostavat avaimet ja arvot eli KV-tiedot itse-dekooderin sisäisistä tiloista. Näin olemassa olevan pitkän kontekstin esikäsittely voi päättyä itse-dekooderin jälkeen: samaa syötettä ei tarvitse ajaa myös ristidekooderin läpi. Ristidekooderi osallistuu silti uusien tokenien tuottamiseen. 4615

Toinen jakamisen taso on KV Reuse. Kunkin ristidekooderin hybridilohkon harvat huomiokerrokset käyttävät edeltävän täyden huomion kerroksen KV-välimuistia ja tietoa valituista tokeneista. Valinta tehdään yksittäisten tokenien, ei kokonaisten lohkojen tasolla. Lisäksi viimeisimmät tokenit otetaan valintaan aina mukaan. Siksi lähellä oleva konteksti ja valitut kaukaisemmat kohdat voivat käyttää samaa välimuistia ilman erillistä liukuvan ikkunan huomiopolkua. 4615

Mitä vertailu osoittaa?

Raportoidussa vertailussa käytettiin MoE- eli mixture-of-experts-mallikokoonpanoa, jossa on yhteensä 80 miljardia parametria ja noin 3 miljardia aktiivista parametria tokenia kohti. Miljoonan tokenin kontekstissa HySparse2:n esikäsittelyn FLOP-laskentamäärä oli 5,02 kertaa pienempi kuin Hybrid SWA:n. Raportoidut KV-välimuistin koot olivat 2,69 ja 12,09 gigatavua – HySparse2:lla siis noin 4,5 kertaa pienempi. Xiaomi raportoi myös parempia MRCRv2- ja RULER-v2-tiedonhakutuloksia sekä pienempiä AgentPPL- ja LongPPL-arvoja. Arviointia käsittelevän raportin mukaan HySparse2 menestyi testatuissa pitkän kontekstin tiedonhakukokeissa sekä HySparsea että Hybrid SWA:ta paremmin. 615

Yhdessä raportoidussa osakokeessa mallin perusrakenne ja huomiomekanismin laskentabudjetti pidettiin samoina, mutta lohkoittainen valinta vaihdettiin tokenikohtaiseen. Enintään 32 000 tokenin testeissä tulos parani RULER-v2:ssa 6,57 prosenttiyksikköä, kahden etsittävän tiedon MRCR-v2:ssa 8,14 prosenttiyksikköä ja GraphWalksissa 5,55 prosenttiyksikköä. Koe tukee tarkemman valinnan hyötyä tässä asetelmassa, mutta ei kerro erikseen, paljonko KV Bridging, KV Reuse tai viimeisimpien tokenien pakollinen mukaanotto vaikuttivat. 6

Lähteistä ei selviä numeerista HySparse–HySparse2-vertailua miljoonan tokenin kohdalla eikä sitä, säilyvätkö vertailumallilla havaitut hyödyt suuremmassa mallissa. Ne eivät myöskään täsmennä 2,69 gigatavun välimuistiluvun tallennustarkkuutta, joten sitä ei pidä kutsua varmennetuksi FP8-mittaukseksi. Laskentaoperaatioiden määrä ja välimuistin koko eivät lisäksi ole sama asia kuin tuotantokäytössä mitattu vasteaika. 615