HySparse2 ของ Xiaomi: อ่านบริบทยาวขึ้นโดยไม่ต้องประมวลผลซ้ำทุกชั้น

เมื่อเอเจนต์ AI ทำงานหลายรอบ บันทึกการสนทนาเดิมอาจยาวอยู่แล้ว ก่อนจะมีผลลัพธ์จากเครื่องมือเพิ่มเข้ามาอีกเป็นจำนวนมาก ทุกครั้งที่ต้องประมวลผลอินพุตยาวนั้น ขั้นตอน prefill หรือการประมวลผลอินพุตเริ่มต้นย่อมมีต้นทุนสูงขึ้น HySparse2 คือสถาปัตยกรรมที่ Xiaomi เสนอเพื่อลดต้นทุนดังกล่าว โดยยังเปิดทางให้โมเดลเข้าถึงทั้งโทเค็นล่าสุดและข้อมูลที่อยู่ไกลในบริบท งานที่เผยแพร่เป็นงานวิจัยสถาปัตยกรรมซึ่งเกี่ยวข้องกับแผนสำหรับ MiMo-V3 ไม่ใช่การเปิดตัวน้ำหนักโมเดล MiMo-V3 รุ่นใหม่ 34

ทำไม prefill จึงหยุดได้หลังส่วนแรก

HySparse2 แบ่งโมเดลตามแนวคิด YOCO เป็น self-decoder ซึ่งประมวลผลอินพุตยาว และ cross-decoder ซึ่งทำงานต่อจากนั้น กลไก KV Bridging ให้ชั้นที่ใช้ full attention ใน cross-decoder สร้างค่า key และ value (KV) จากสถานะภายในที่ self-decoder คำนวณไว้ เมื่อ KV ของส่วนหลังได้มาจากส่วนแรก การทำ prefill กับบริบทเดิมจึงจบได้หลัง self-decoder โดยไม่ต้องส่งบริบทยาวทั้งหมดผ่าน cross-decoder อีกครั้ง แต่ cross-decoder ยังคงมีส่วนร่วมเมื่อโมเดลสร้างโทเค็นใหม่ 4615

อีกระดับหนึ่งคือ KV Reuse: ภายในแต่ละกลุ่มชั้นแบบผสม ชั้นที่ใช้ sparse attention จะใช้แคช KV และดัชนีโทเค็นที่เลือกจากชั้น full attention ก่อนหน้าร่วมกัน HySparse2 เลือกข้อมูลเป็นรายโทเค็นแทนการเลือกเป็นกลุ่ม และบังคับรวมโทเค็นที่อยู่ใกล้ที่สุดไว้ในชุดที่เลือก วิธีนี้ใช้แทนแขนง sliding-window attention ที่แยกต่างหาก ทำให้ข้อมูลล่าสุดกับข้อมูลที่เลือกจากระยะไกลใช้แคชเดียวกันได้ เป้าหมายจึงไม่ใช่แค่ลดการเก็บแคชและการเลือกข้อมูลซ้ำ แต่ยังรักษาทางเข้าถึงบริบทใกล้ตัวไว้ด้วย 4615

ตัวเลขที่รายงานบอกอะไร

ในการเปรียบเทียบโมเดลแบบ mixture-of-experts (MoE) ที่มีพารามิเตอร์รวม 80B และใช้งานประมาณ 3B ต่อโทเค็น เมื่อบริบทยาว 1 ล้านโทเค็น HySparse2 ใช้ FLOPs สำหรับ prefill น้อยกว่า Hybrid SWA 5.02 เท่า ส่วนแคช KV ที่รายงานอยู่ที่ 2.69 GB เทียบกับ 12.09 GB หรือเล็กลงราว 4.5 เท่า Xiaomi ยังรายงานคะแนนการค้นคืนข้อมูล MRCRv2 และ RULER-v2 ที่สูงขึ้น พร้อมค่า AgentPPL และ LongPPL ที่ต่ำลง โดยรายงานการประเมินระบุว่า HySparse2 นำทั้ง HySparse และ Hybrid SWA ในการทดสอบค้นคืนข้อมูลบริบทยาวที่ประเมิน 615

ผลทดสอบแบบเปลี่ยนองค์ประกอบทีละอย่างชุดหนึ่งช่วยชี้ให้เห็นประโยชน์ของ การเลือกรายโทเค็น: เมื่อคงโครงสร้างหลักและงบการคำนวณ attention ไว้เท่าเดิม แล้วเปลี่ยนเฉพาะจากการเลือกเป็นกลุ่มมาเป็นรายโทเค็น ผลทดสอบที่ความยาว ไม่เกิน 32,000 โทเค็น เพิ่มขึ้น 6.57 จุดเปอร์เซ็นต์ใน RULER-v2, 8.14 จุดเปอร์เซ็นต์ใน MRCR-v2 แบบสองเบาะแส และ 5.55 จุดเปอร์เซ็นต์ใน GraphWalks ผลนี้สนับสนุนการเลือกที่ละเอียดขึ้นในเงื่อนไขดังกล่าว แต่ไม่ได้แยกวัดผลของ KV Bridging, KV Reuse หรือการบังคับรวมโทเค็นล่าสุดแต่ละอย่าง 6

ข้อควรระวังในการอ่านผล: หลักฐานที่มีไม่ได้ระบุตัวเลขเปรียบเทียบ HySparse กับ HySparse2 ที่ 1 ล้านโทเค็น ไม่ได้แจกแจงผลเพิ่มจากทุกกลไกแยกกัน และยังไม่ยืนยันว่าผลจากโมเดลที่นำมาเทียบกันนี้คงอยู่เมื่อขยายไปสู่โมเดลขนาดใหญ่กว่า ข้อความอ้างอิงที่มีไม่ได้ระบุความละเอียดของข้อมูลเบื้องหลังตัวเลขแคช 2.69 GB จึงไม่ควรเรียกตัวเลขนี้ว่าเป็นผลวัดแคชแบบ FP8 ที่ตรวจสอบยืนยันแล้ว อีกทั้ง FLOPs และขนาดแคชก็ไม่ใช่ตัวเลขความหน่วงที่วัดจากระบบให้บริการจริง 615