Kimi K3 เดิมพันการขยายสเกล AI สองแกน: โมเดล MoE ใหญ่ขึ้น และคอมพิวต์ตอนใช้งานมากขึ้น

Moonshot AI นำเสนอ Kimi K3 ในฐานะข้อเสนอเรื่อง การขยายสเกลสองแกน: แกนแรกคือสร้างโมเดลให้มีความจุสูงขึ้นมากก่อนนำไปใช้งาน ส่วนแกนที่สองคือจัดสรรคอมพิวต์ให้พอในช่วงใช้งานจริง เพื่อให้โมเดลคิดเป็นขั้นตอน ใช้เครื่องมือ ค้นเว็บ เขียนโค้ด และฟื้นตัวจากข้อผิดพลาดได้

โจทย์สำคัญอยู่ที่เศรษฐศาสตร์ของการให้บริการ โมเดลไม่อาจเพิ่มความลึกและความหนาแน่นไปเรื่อย ๆ ได้ หากต้นทุนการให้บริการในบริบทยาวสูงจนความสามารถเหล่านั้นใช้จริงไม่ได้ K3 จึงออกแบบมาเพื่อเพิ่มความจุรวม ขณะจำกัดคอมพิวต์และหน่วยความจำที่ต้องใช้ต่อโทเค็นที่สร้างออกมา 1

แยกให้ออก: ความจุรวม กับคอมพิวต์ที่เปิดใช้จริง

Kimi K3 ถูกระบุว่าเป็นโมเดล mixture-of-experts (MoE) แบบมัลติโหมดโดยกำเนิด มีพารามิเตอร์รวม 2.8 ล้านล้านตัว เปิดใช้ราว 104 พันล้านพารามิเตอร์ต่อโทเค็น และรองรับบริบทยาวสูงสุด 1 ล้านโทเค็น 117

ตัวเลขพารามิเตอร์สองชุดนี้ตอบคนละคำถาม

• พารามิเตอร์รวม บอกปริมาณความจุทั้งหมดที่กระจายอยู่ในกลุ่มผู้เชี่ยวชาญ หรือ experts
• พารามิเตอร์ที่เปิดใช้ต่อโทเค็น บอกส่วนที่ถูกเลือกมาใช้งานจริงสำหรับโทเค็นนั้น หลังระบบ routing เลือก expert

นี่คือจุดดึงดูดในทางปฏิบัติของ MoE: K3 มีขนาดรวมใหญ่กว่าโมเดล dense ที่มีภาระคำนวณต่อโทเค็นใกล้เคียงกันได้มาก โดยไม่ต้องแบกต้นทุนอนุมานของโครงข่าย dense ขนาด 2.8 ล้านล้านพารามิเตอร์ในทุกโทเค็น ทั้งนี้ 104 พันล้านพารามิเตอร์ที่เปิดใช้ก็ยังถือว่าใหญ่และมีต้นทุนสูงอยู่ 1

ดังนั้น ข้อเสนอของ Moonshot ไม่ใช่แค่ “พารามิเตอร์มากกว่าดีกว่า” แต่คือการใช้คอมพิวต์แบบมีเงื่อนไข เพื่อทำให้ความจุโมเดลระดับใหม่ใช้งานกับงานที่กินเวลานานได้

บริบทยาวระดับล้านโทเค็น ต้องใช้สแตก attention ที่ต่างออกไป

บริบท 1 ล้านโทเค็นเป็นงานยาก ไม่ได้ยากเฉพาะตอนฝึก แต่ยังยากตอนให้บริการ เพราะ attention แบบเดิมอาจสะสมภาระคำนวณและหน่วยความจำตามความยาวลำดับ K3 ใช้โครงสร้างไฮบริดที่รวม Kimi Delta Attention (KDA) กับ Gated Multi-head Latent Attention (Gated MLA) โดยรายงานระบุว่า backbone มี KDA 69 ชั้น และ Gated MLA 24 ชั้น วางสลับกันเป็นหลักในรูปแบบ KDA 3 ชั้นต่อ MLA 1 ชั้น 112

KDA ประมวลผลลำดับต่อเนื่องด้วยสถานะคงที่

KDA คือส่วน linear attention ของโมเดล แทนที่จะเก็บ key-value cache แบบดั้งเดิมที่ขยายตามประวัติทั้งหมดในทุกชั้น KDA ใช้สถานะแบบ recurrent ที่มีขนาดคงที่ เป้าหมายคือทำให้สถานะหน่วยความจำและงานช่วง decode ไม่ขยายตามบริบทก่อนหน้าในลักษณะเดียวกับ full attention 1

รายงานยังระบุถึงการกำหนดค่าต่ำสุดของอัตราการเสื่อม หรือ decay rate ของ KDA แนวทางนี้ไม่ใช่เพียงการปรับพฤติกรรมของโมเดล แต่ช่วยป้องกันค่า decay ที่เล็กมากจนสร้างปัญหาต่อการคำนวณเชิงตัวเลข และเปิดทางให้ใช้การประมวลผลแบบแบ่งบล็อกที่เหมาะกับการทำงานบน tensor core 1

Gated MLA ช่วยคงการค้นคืนข้อมูลจากบริบททั้งก้อน

การทำงานแบบ linear recurrence อย่างเดียวอาจไม่ให้ความสามารถในการค้นหาข้อมูลสำคัญแบบเลือกเฉพาะจุดจากบริบททั้งหมดได้เทียบเท่า attention K3 จึงยังคง Gated MLA ไว้ตลอดทั้งเครือข่าย ในโครงสร้างไฮบริดนี้ KDA ทำหน้าที่ประมวลผลลำดับต่อเนื่องด้วยต้นทุนต่ำ ขณะที่ MLA ช่วยค้นคืนข้อมูลจากภาพรวมของบริบทเป็นระยะ 1

จุดน่าสังเกตคือ K3 มองความสามารถด้าน long context เป็นทั้งปัญหาสถาปัตยกรรมและปัญหาระบบ หน้าต่างบริบทที่ระบุว่ายาวมากจะมีความหมายก็ต่อเมื่อโมเดลยังค้นข้อมูลที่เกี่ยวข้องได้ และสร้างคำตอบได้ด้วยต้นทุนที่ใช้การได้จริง

AttnRes พยายามรักษาข้อมูลตลอดความลึก 93 ชั้น

องค์ประกอบสำคัญอีกส่วนคือ Attention Residuals (AttnRes) K3 มีทั้งหมด 93 ชั้น และรายงานใช้ AttnRes เพื่อให้ชั้นในช่วงหลังสามารถค้นคืนตัวแทนข้อมูลที่ถูกบีบอัดจากบล็อกความลึกก่อนหน้า แทนที่จะบังคับให้ข้อมูลทุกอย่างต้องไหลผ่านทีละชั้นอย่างเคร่งครัด 1

หากอธิบายเชิงแนวคิด KDA แก้ปัญหาการไหลของข้อมูล ตามความยาวของลำดับ ส่วน AttnRes แก้ปัญหาการไหลของข้อมูล ตามความลึกของโมเดล การจับคู่สองอย่างนี้สำคัญสำหรับโมเดลลึกที่ใช้ linear attention เป็นส่วนใหญ่ เพราะการลด global attention ที่มีต้นทุนสูงจะมีประโยชน์ก็ต่อเมื่อข้อมูลสำคัญไม่สูญหายหรือถูกตัดขาดระหว่างส่งผ่าน activation ไปตามชั้นต่าง ๆ 1

Stable LatentMoE เพิ่มความจุแบบเลือกใช้

ชั้น MoE ของ K3 มี routed experts 896 ตัว และเลือกใช้ 16 expert ต่อโทเค็น 16 นี่คือกลไกที่ทำให้จำนวนพารามิเตอร์รวมแตกต่างจากจำนวนที่เปิดใช้จริงมาก

แนวทาง Stable LatentMoE ในรายงานมุ่งทำให้การ routing มีเสถียรภาพและกระจายโหลดสมดุล โดยมองการจัดสรร expert ในระดับแบตช์เป็นปัญหาการหาค่าที่เหมาะสม และนำการปรับสมดุลแบบอิง quantile มาใช้ รายงานเสนอคำตอบที่เหมาะสมที่สุดภายใต้สมมติฐานที่กำหนดไว้ แต่ในช่วงนำไปใช้งานจริง routing ใช้ค่า bias ของ expert ที่กำหนดตายตัวร่วมกับการเลือก top-k ปกติ แทนการแก้ปัญหาปรับสมดุลใหม่สำหรับทุกแบตช์อนุมาน 1

ข้อแตกต่างนี้สำคัญ เพราะ “สมดุลที่เหมาะที่สุด” เป็นผลลัพธ์ภายใต้โจทย์ routing และสมมติฐานของรายงาน ไม่ใช่การรับประกันว่าโทเค็นในทุกภาระงานจริงจะกระจายไปยัง expert ได้สมบูรณ์แบบเสมอ

MoonEP ทำให้ sparse routing ใช้งานได้ในระบบจริง

โมเดล MoE ขนาดใหญ่มีโจทย์ด้านเครือข่าย: โทเค็นที่ถูกเลือกอาจต้องถูกส่งข้ามอุปกรณ์ไปยัง expert ที่ได้รับมอบหมาย หากบาง expert ได้รับคำขอมากเกินไป เส้นทางสื่อสารที่ช้าที่สุดอาจกลายเป็นตัวกำหนด latency ทั้งระบบ

Moonshot วาง MoonEP เป็นชั้นระบบเสริมสำหรับการสื่อสารแบบ expert-parallel หน้าที่คือช่วยลดความไม่สมดุลของการแลกเปลี่ยนข้อมูลแบบ all-to-all ที่เกิดจาก sparse routing เพื่อให้กลุ่ม expert ขนาดใหญ่ฝึกและให้บริการได้จริง 1

นี่เป็นส่วนสำคัญของข้ออ้าง K3 โดยรวม: สถาปัตยกรรม การ routing และการสื่อสาร ไม่ควรถูกมองเป็นคำอธิบายประสิทธิภาพที่แยกขาดจากกัน เพราะโมเดลต้องอาศัยทั้งสามส่วนเพื่อเปลี่ยนความจุแบบ sparse ในทางทฤษฎีให้กลายเป็น throughput ในทางปฏิบัติ

อีกครึ่งหนึ่งหลังนำไปใช้: คอมพิวต์สำหรับงานแบบเอเจนต์

แกนที่สองของแนวคิด K3 คือสิ่งที่เกิดขึ้นหลัง pretraining Moonshot อธิบายโครงสร้างพื้นฐานสำหรับเส้นทางการเรียนรู้แบบ reinforcement learning ที่รองรับงานระยะยาว การใช้เครื่องมือ การเขียนโค้ด การท่องเว็บ และการแก้ปัญหาแบบวนซ้ำ รายงานยังกล่าวถึงการกลั่นความสามารถจากโมเดลครูหลายตัวที่เชี่ยวชาญโดเมนและการให้เหตุผล เข้าสู่ระบบเดียว 1

สภาพแวดล้อมสนับสนุนคือระบบ sandbox แบบ virtual machine น้ำหนักเบา ออกแบบมาเพื่อสร้าง บันทึก snapshot และกลับมาทำงานต่อในสภาพแวดล้อมภารกิจจำนวนมาก ตัวเลขที่รายงานคือ 51.2 ล้าน sandbox instances, ใช้เวลา snapshot 133 มิลลิวินาที และ restore 49 มิลลิวินาที 1

เป้าหมายเชิงกลยุทธ์ตรงไปตรงมา: หากต้องการให้โมเดลใช้คอมพิวต์เพิ่มในช่วงทดสอบเพื่อวางแผน เรียกใช้เครื่องมือ ตรวจทานงาน หรือทำภารกิจยาวต่อเนื่อง ชุดฝึกก็ต้องให้โมเดลเจอกับเส้นทางการทำงานลักษณะนี้ การพัก แตกแขนง และกู้คืนสภาพแวดล้อมได้ในต้นทุนต่ำ ทำให้สร้าง rollout สำหรับฝึกเพิ่มได้มากขึ้น

ไม่ได้หมายความว่าคำตอบหนึ่งครั้งของโมเดลจะใช้คอมพิวต์ได้ไม่จำกัด แต่รายงาน K3 เสนอระบบที่สามารถเปลี่ยนขั้นตอนเพิ่มและบริบทเพิ่ม ให้กลายเป็นผลงานของภารกิจที่ดีขึ้น แทนการพึ่งโมเดล pretrained ที่ใหญ่ขึ้นเพียงอย่างเดียว

คะแนน BrowseComp บอกอะไรได้ และบอกอะไรไม่ได้

มีรายงานว่า Kimi K3 ทำคะแนน 91.2% บน BrowseComp ซึ่งเป็นเบนช์มาร์กสำหรับการค้นหาข้อมูลระยะยาว ตารางอันดับจากบุคคลที่สามก็ระบุ K3 ที่ 91.2% เช่นกัน แม้อันดับและรูปแบบการรายงานอาจเปลี่ยนตามเวลา 18

ผลนี้สอดคล้องกับเป้าหมายของผลิตภัณฑ์: โมเดลที่ออกแบบเพื่อบริบทยาว การฝึกหลังบ้านแบบเอเจนต์ และการให้เหตุผลระหว่างใช้งาน ควรถูกประเมินด้วยงานค้นหาข้อมูลที่ซับซ้อน แต่คะแนนจากเบนช์มาร์กเดียวไม่ใช่การทดลองแยกผลของแต่ละองค์ประกอบ

คะแนนเดียวไม่อาจบอกได้ว่า KDA, AttnRes, การ routing expert, โครงสร้างพื้นฐานสื่อสาร, สภาพแวดล้อม RL, การ distillation, prompting หรือการตั้งค่า inference มีส่วนต่อผลลัพธ์คนละเท่าไร การตีความที่รัดกุมที่สุดคือ ระบบที่รายงานทำผลงานได้ดีในฐานะสแตกแบบบูรณาการ ไม่ใช่หลักฐานว่านวัตกรรมสถาปัตยกรรมตัวใดตัวหนึ่งเพียงลำพังเป็นผู้สร้างคะแนนนั้น 118

การเทียบกับ DeepSeek ควรอ่านในมุมสถาปัตยกรรมเป็นหลัก

K3 มักถูกวางให้เป็นคู่แข่งของโมเดลเปิดขนาดใหญ่อื่น ๆ รวมถึงระบบจาก DeepSeek ข้อสรุปที่ตั้งอยู่บนรายงานได้คือ Moonshot กำลังเสนอจุดเน้นการออกแบบที่ต่างออกไป: ผสานความจุ sparse ขนาดใหญ่มาก การประมวลผลบริบทยาวอย่างมีประสิทธิภาพ และโครงสร้างพื้นฐาน post-training สำหรับเอเจนต์ 117

ตัวรายงานสนับสนุนข้อมูลจำเพาะและทางเลือกด้านการออกแบบของ K3 แต่ไม่ได้พิสูจน์ด้วยตัวมันเองว่าโมเดลเปิดรายอื่น “หยุดนิ่ง” หรือ K3 มีความได้เปรียบเชิงสถาปัตยกรรมอย่างเด็ดขาดเหนือคู่แข่งที่ระบุชื่อ ข้ออ้างเชิงตลาดในวงกว้างเช่นนั้นต้องอาศัยการเปรียบเทียบที่สม่ำเสมอและทำซ้ำโดยอิสระ

ข้ออ้างเรื่องต้นทุนขึ้นกับการตั้งค่า

การเทียบราคาโทเค็นหรือต้นทุนต่องานเป็นสิ่งที่ตีความเกินจริงได้ง่าย เพราะเปลี่ยนไปตาม prompt ระดับการให้เหตุผล ความยาวบริบท การใช้ cache การเรียกเครื่องมือ สมมติฐาน throughput วันที่ตั้งราคา และชุดทดสอบ

การเปรียบเทียบที่เผยแพร่หนึ่งรายการประเมินต้นทุนต่องานที่ทำสำเร็จไว้ราว 0.94 ดอลลาร์สำหรับ K3 และ 1.04 ดอลลาร์สำหรับ GPT-5.6 Sol ตัวเลขนี้อาจชี้ถึงความได้เปรียบเล็กน้อยภายใต้การตั้งค่านั้น แต่ไม่เพียงพอจะรองรับข้ออ้างทั่วไปว่า K3 มีต้นทุนเพียงครึ่งหนึ่งของ Sol 20

ข้อสรุปที่มีประโยชน์และอยู่ได้นานกว่าคือ K3 เป็นความพยายามทำให้ความสามารถด้านบริบทยาวและเอเจนต์มีความคุ้มค่าเชิงเศรษฐศาสตร์ที่สเกลโมเดลรวมใหญ่ขึ้นมาก ส่วนจะได้เปรียบจริงในการใช้งานหรือไม่นั้น ยังขึ้นกับการประเมินที่ทำซ้ำได้และการคิดต้นทุนตามรูปแบบการติดตั้งใช้งานแต่ละกรณี

สรุป

รายงานเชิงเทคนิคของ Kimi K3 เสนอเหตุผลเรื่องการขยายสเกลแบบครบสแตก สเกลก่อนนำไปใช้งาน มาจาก MoE ขนาด 2.8 ล้านล้านพารามิเตอร์ ที่เปิดใช้ราว 104 พันล้านพารามิเตอร์ต่อโทเค็น ส่วน สเกลหลังนำไปใช้งาน มาจากการฝึกและให้บริการโมเดลที่ใช้บริบทยาว เครื่องมือ ขั้นตอนการให้เหตุผล และ rollout แบบเอเจนต์ได้ 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP และโครงสร้างพื้นฐาน sandbox สำหรับ RL ล้วนเป็นส่วนของข้อเสนอเดียวกัน: พฤติกรรมแบบเอเจนต์คุณภาพระดับแนวหน้าไม่ได้ต้องการเพียงโมเดลที่ใหญ่ขึ้น แต่ต้องมีการออกแบบที่ทำให้บริบทมากขึ้นและงานคำนวณระหว่างอนุมานมากขึ้นนำไปใช้ได้จริง ผลเบนช์มาร์กเป็นหลักฐานที่น่าสนใจต่อแนวทางแบบบูรณาการนี้ แต่ควรอ่านว่าเป็นผลลัพธ์ของระบบที่รายงาน ไม่ใช่ข้อพิสูจน์สุดท้ายถึงผลของแต่ละองค์ประกอบ 118