HySparse2 od Xiaomi: mniej obliczeń przy milionie tokenów, bez rezygnacji z wyszukiwania

Gdy agent AI pracuje przez wiele tur, krótkie polecenia mogą przeplatać się z obszernymi wynikami narzędzi. Każdy kolejny etap powiększa historię, którą model musi uwzględnić. HySparse2 to propozycja architektury Xiaomi mająca ograniczyć koszt wstępnego przetwarzania takiego kontekstu — etapu zwanego prefill — bez utraty możliwości sięgania po informacje z jego początku. Opublikowano wyniki prac nad architekturą wiązaną z planami dotyczącymi MiMo-V3; nie jest to informacja o nowym wydaniu otwartych wag tego modelu. 34

Jak HySparse2 skraca przetwarzanie długiej historii

Model dzieli się, zgodnie z podejściem YOCO, na dwie części: self-decoder i cross-decoder. Pierwsza przetwarza długi tekst wejściowy. W mechanizmie KV Bridging warstwy pełnej uwagi w drugiej części tworzą klucze i wartości (K/V) ze stanów ukrytych pierwszej. Dzięki temu wstępne przetwarzanie istniejącej historii może zakończyć się po przejściu przez self-decoder, zamiast przepuszczać ją również przez cross-decoder. Ta druga część nadal bierze udział w generowaniu nowych tokenów. 4615

Drugi poziom współdzielenia to KV Reuse. W każdym hybrydowym bloku cross-decodera warstwy uwagi rzadkiej korzystają z pamięci podręcznej KV oraz indeksów wybranych tokenów pochodzących z poprzedzającej je warstwy pełnej uwagi. HySparse2 wybiera pojedyncze tokeny, a nie całe bloki. Jednocześnie obowiązkowo uwzględnia niedawne tokeny, zastępując osobną gałąź uwagi z przesuwanym oknem (sliding-window attention, SWA). Najnowsze fragmenty i wybrane informacje z dalszej historii mogą więc korzystać z tej samej pamięci podręcznej. 4615

Co pokazują porównania

W podanym porównaniu modeli MoE — czyli modeli, w których na dany token aktywuje się tylko część parametrów — konfiguracja ma 80 mld parametrów łącznie i około 3 mld aktywnych na token. Przy kontekście długości miliona tokenów HySparse2 wymaga 5,02 razy mniej operacji zmiennoprzecinkowych (FLOPs) na etapie prefill niż Hybrid SWA. Podane wielkości pamięci podręcznej KV wynoszą odpowiednio 2,69 GB i 12,09 GB, co oznacza około 4,5-krotną różnicę. Xiaomi podaje też wyższe wyniki w testach wyszukiwania informacji MRCRv2 i RULER-v2 oraz niższe wartości AgentPPL i LongPPL. Według relacji z ewaluacji HySparse2 wyprzedza zarówno HySparse, jak i Hybrid SWA w ocenianych testach wyszukiwania w długim kontekście. 615

Osobny test sprawdza zmianę wyboru całych bloków na wybór pojedynczych tokenów, przy zachowaniu tej samej podstawowej konstrukcji modelu i budżetu uwagi. Dla kontekstów o długości do 32 tys. tokenów odnotowano poprawę o 6,57 punktu procentowego w RULER-v2, 8,14 punktu w dwuwskazówkowym MRCR-v2 i 5,55 punktu w GraphWalks. To argument za dokładniejszym wyborem tokenów w tych warunkach, ale nie miara osobnego wpływu KV Bridging, KV Reuse czy obowiązkowego okna najnowszych tokenów. 6

Granice tych danych są istotne: dostępne informacje nie pozwalają podać liczbowego porównania HySparse z HySparse2 przy milionie tokenów ani stwierdzić, czy przewaga z porównania utrzyma się w większym modelu. Cytowane fragmenty nie określają też precyzji zapisu stojącej za wartością 2,69 GB, więc nie należy przedstawiać jej jako potwierdzonego pomiaru pamięci KV w formacie FP8. Liczba FLOPs i wielkość pamięci podręcznej nie są również pomiarem opóźnienia działającej usługi. 615