HySparse2 Xiaomi: Lebih Hemat Memproses Konteks Panjang, Tetap Bisa Menemukan Informasi Lama

Bayangkan agen AI yang harus membaca hasil alat, dokumen, dan riwayat percakapan yang terus bertambah, lalu mencari kembali satu informasi dari jauh sebelumnya. Tantangannya bukan hanya menampung konteks panjang, melainkan memprosesnya berulang kali tanpa membuat kebutuhan komputasi dan memori membengkak. HySparse2 adalah rancangan arsitektur Xiaomi untuk mengatasi masalah itu. Karya yang dirilis merupakan riset arsitektur yang dikaitkan dengan rencana MiMo-V3, bukan bukti bahwa bobot terbuka model MiMo-V3 baru telah dirilis. 34

Mengapa prapemrosesan bisa berhenti lebih awal?

HySparse2 membagi model menjadi dua bagian bergaya YOCO: self-decoder yang memproses input panjang dan cross-decoder yang menggunakannya. Melalui KV Bridging, lapisan perhatian penuh di cross-decoder membangun pasangan key dan value (KV) dari representasi yang dihasilkan self-decoder. Karena data KV bagian kedua berasal dari bagian pertama, tahap pemrosesan awal input—prefill—dapat selesai setelah self-decoder, tanpa harus menjalankan ulang seluruh konteks lama melalui cross-decoder. Cross-decoder tetap bekerja ketika model menghasilkan token baru. 4615

Penghematan berikutnya terjadi di dalam cross-decoder. Dengan KV Reuse, lapisan perhatian selektif memakai kembali cache KV serta indeks token pilihan dari lapisan perhatian penuh sebelumnya. Pemilihan dilakukan per token, bukan per blok. HySparse2 juga selalu memasukkan token terbaru ke dalam pilihan tersebut, menggantikan cabang perhatian berjendela geser yang terpisah. Dengan begitu, token dekat dan token jauh yang terpilih dapat menggunakan cache yang sama. 4615

Apa yang ditunjukkan hasil pengujiannya?

Dalam perbandingan yang dilaporkan untuk konfigurasi mixture-of-experts (MoE) dengan total 80 miliar parameter dan sekitar 3 miliar parameter aktif per token, pada konteks 1 juta token, FLOPs prefill HySparse2 5,02 kali lebih rendah daripada Hybrid SWA. Ukuran cache KV yang dilaporkan adalah 2,69 GB berbanding 12,09 GB, atau sekitar 4,5 kali lebih kecil. Xiaomi juga melaporkan skor temu-kembali MRCRv2 dan RULER-v2 yang lebih tinggi serta AgentPPL dan LongPPL yang lebih rendah. Menurut laporan evaluasi, HySparse2 mengungguli HySparse dan Hybrid SWA pada pengujian temu-kembali konteks panjang yang dinilai. 615

Satu uji ablation memberi gambaran lebih khusus tentang pemilihan token. Ketika struktur dasar model dan anggaran perhatian dibuat sama, mengganti pemilihan per blok dengan pemilihan per token pada pengujian hingga 32 ribu token meningkatkan RULER-v2 sebesar 6,57 poin persentase, MRCR-v2 dua petunjuk sebesar 8,14 poin, dan GraphWalks sebesar 5,55 poin. Hasil itu mendukung pemilihan yang lebih rinci dalam kondisi uji tersebut, tetapi tidak mengukur secara terpisah sumbangan KV Bridging, KV Reuse, atau kewajiban memasukkan token terbaru. 6

Batasnya penting: bukti yang tersedia belum menetapkan angka perbandingan HySparse versus HySparse2 pada 1 juta token, besarnya kontribusi masing-masing mekanisme, atau apakah peningkatan pada model pembanding itu bertahan di skala model yang lebih besar. Cuplikan sumber juga tidak menyebut presisi penyimpanan di balik angka cache 2,69 GB, sehingga angka itu tidak boleh disebut sebagai hasil FP8 yang telah terverifikasi. FLOPs dan ukuran cache pun bukan pengukuran latensi pada layanan nyata. 615