HySparse2: minder rekenwerk bij een miljoen tokens, zonder verre context uit te sluiten

Een AI-agent die tijdens een taak telkens zoekresultaten, code of andere tooluitvoer aan zijn gesprek toevoegt, moet een steeds langere geschiedenis verwerken. HySparse2 is Xiaomi’s voorstel om vooral die eerste verwerking — prefill — minder kostbaar te maken, zonder de toegang tot recente én verder terugliggende informatie op te geven. Het gepubliceerde werk beschrijft een architectuur die voor MiMo-V3 is voorzien; het is geen bewijs dat er nieuwe open modelgewichten van MiMo-V3 zijn uitgebracht. 34

Waarom de lange invoer niet door beide delen hoeft

HySparse2 verdeelt het model, volgens een YOCO-achtig ontwerp, in een self-decoder en een cross-decoder. De self-decoder verwerkt de lange invoer. Via KV Bridging bouwen lagen met volledige aandacht in de cross-decoder hun keys en values op uit verborgen toestanden van de self-decoder. Daardoor kan de prefill van de bestaande geschiedenis eindigen zodra de self-decoder klaar is: die hele geschiedenis hoeft niet ook nog eens door de cross-decoder. Bij het genereren van nieuwe tokens doet de cross-decoder wel mee. 4615

Binnen elk hybride blok volgt een tweede vorm van delen. Met KV Reuse gebruiken schaarse lagen de KV-cache én de tokenselectie-indices van de voorafgaande laag met volledige aandacht opnieuw. HySparse2 kiest daarbij afzonderlijke tokens in plaats van hele blokken. Recente tokens worden verplicht in die selectie opgenomen. Zo blijft nabije context beschikbaar zonder een aparte tak met sliding-window-attention; recente en geselecteerde verder weg gelegen tokens gebruiken dezelfde cache. 4615

Wat de vergelijkingen laten zien

In een gerapporteerde vergelijking met gelijkwaardige MoE-configuraties — modellen met 80 miljard parameters in totaal, waarvan circa 3 miljard actief per token — vergt de prefill van HySparse2 bij een miljoen tokens 5,02 keer minder rekenwerk, gemeten in FLOPs, dan Hybrid SWA. De opgegeven KV-cache is 2,69 GB tegenover 12,09 GB: ongeveer 4,5 keer kleiner. Xiaomi meldt daarnaast hogere scores op de retrievaltests MRCRv2 en RULER-v2 en lagere waarden voor AgentPPL en LongPPL. Volgens een verslag van de evaluatie scoort HySparse2 op de onderzochte lange-context-retrievaltests beter dan zowel HySparse als Hybrid SWA. 615

Een afzonderlijke ablatietest houdt de basisarchitectuur en het aandachtbudget gelijk en verandert alleen de selectie van blokniveau naar tokenniveau. Bij tests met maximaal 32.000 tokens levert dat volgens het verslag 6,57 procentpunt winst op RULER-v2 op, 8,14 procentpunt op MRCR-v2 met twee verborgen aanwijzingen en 5,55 procentpunt op GraphWalks. Dat ondersteunt het nut van fijnmaziger selecteren in deze testopzet, maar zegt niet hoeveel KV Bridging, KV Reuse of het verplichte venster met recente tokens afzonderlijk bijdragen. 6

De grens van de cijfers: het beschikbare materiaal onderbouwt geen numeriek verschil tussen HySparse en HySparse2 bij een miljoen tokens en laat niet zien of de verbeteringen aanhouden bij een groter model. De aangehaalde gegevens vermelden evenmin met welke precisie de cachegrootte van 2,69 GB is berekend; die mag dus niet als bevestigde FP8-meting worden gepresenteerd. Minder FLOPs en een kleinere cache betekenen bovendien niet automatisch een gemeten lagere wachttijd in een productiesysteem. 615