Slik kutter HySparse2 kostnaden ved lange AI-samtaler

En AI-agent kan svare kort, men få store mengder tekst tilbake fra verktøy den bruker. Når dette legges til en allerede lang samtalehistorikk, blir det stadig mer krevende å behandle hele konteksten før neste svar. Xiaomis HySparse2 er et forslag til modellarkitektur som skal redusere dette arbeidet uten å gi opp muligheten til å finne både nylig og eldre informasjon. Arbeidet er knyttet til planer for MiMo-V3; det er ikke i seg selv en ny utgivelse av åpne MiMo-V3-modellvekter. 34

Hvorfor den lange teksten ikke må gjennom begge delene

HySparse2 deler modellen i to dekoderdeler etter et YOCO-inspirert prinsipp. Self-decoder behandler det lange innholdet først. Med KV Bridging lager lag med full oppmerksomhet i den påfølgende cross-decoder sine nøkler og verdier – K og V – fra de interne tilstandene i self-decoder. Dermed kan forhåndsbehandlingen, ofte kalt prefill, av den eksisterende lange konteksten avsluttes etter første del i stedet for å kjøre hele konteksten gjennom begge. Cross-decoder er fortsatt med når modellen genererer nye tokener. 4615

Inne i cross-decoder bruker KV Reuse samme KV-hurtigbuffer og de samme indeksene for utvalgte tokener i sparsomme lag som i det foregående laget med full oppmerksomhet. Utvalget skjer på tokennivå, ikke i større blokker. Nylige tokener tas dessuten alltid med. Slik kan modellen bruke både nærliggende kontekst og utvalgte tokener lenger tilbake, uten en egen gren for et glidende oppmerksomhetsvindu. Målet er mindre gjentatt lagring og utvalgsarbeid. 4615

Hva målingene viser – og ikke viser

I en rapportert sammenligning av MoE-modeller med 80 milliarder parametere totalt og rundt 3 milliarder aktive per token krever HySparse2 ved én million tokener 1/5,02 av beregningsoperasjonene i prefill sammenlignet med Hybrid SWA. KV-hurtigbufferen oppgis til 2,69 GB mot 12,09 GB, altså omtrent 4,5 ganger mindre. Xiaomi rapporterer også bedre resultater på gjenfinningstestene MRCRv2 og RULER-v2 og lavere verdier på AgentPPL og LongPPL. I den omtalte evalueringen ligger HySparse2 foran både HySparse og Hybrid SWA på de undersøkte testene av gjenfinning i lang kontekst. 615

En separat test holder modellens grunnstruktur og oppmerksomhetsbudsjett konstant, men bytter utvalg på blokknivå med utvalg på tokennivå. Ved 32 000 tokener eller mindre oppgis forbedringer på 6,57 prosentpoeng i RULER-v2, 8,14 prosentpoeng i MRCR-v2 med to ledetråder og 5,55 prosentpoeng i GraphWalks. Det støtter nytten av et mer finmasket utvalg i denne testen, men viser ikke hvor stor del av gevinsten som skyldes KV Bridging, KV Reuse eller at nylige tokener alltid tas med. 6

De tilgjengelige opplysningene gir ikke et tallfestet HySparse-mot-HySparse2-resultat ved én million tokener eller grunnlag for å si at forbedringene er vist i en større modell. De angir heller ikke hvilken tallpresisjon som ligger bak tallet 2,69 GB; det bør derfor ikke omtales som en verifisert FP8-måling. Beregningsoperasjoner i prefill og størrelsen på en hurtigbuffer er heller ikke det samme som målt svartid i drift. 615