Kimi K3 ชี้อนาคต AI: ต้องขยายทั้งขนาดโมเดลและกำลังประมวลผลตอนใช้งาน

รายงานเทคนิค Kimi K3 ของ Moonshot AI วางข้อเสนอหลักไว้ชัดเจนว่า ความก้าวหน้าของ AI ระดับแนวหน้าไม่ได้มาจากการขยายขนาดโมเดลก่อนนำไปใช้งานเพียงอย่างเดียว แต่ต้องขยาย ทรัพยากรสองส่วนที่เสริมกัน ด้วย ได้แก่

1. ความจุของโมเดลก่อนดีพลอย (pre-deployment model capacity) และ
2. กำลังประมวลผลระหว่างอนุมานหลังดีพลอย (post-deployment inference compute) สำหรับการให้เหตุผลยาว ๆ การใช้เครื่องมือ การท่องเว็บ การเขียนโค้ด และการทำงานแบบเอเจนต์ที่ลองหลายเส้นทางแล้วตรวจแก้ตัวเอง

สถาปัตยกรรมของ K3 จึงถูกออกแบบให้การขยายทั้งสองด้านมีต้นทุนที่พอรับได้: โมเดล MoE สามารถเก็บความสามารถไว้ในพารามิเตอร์จำนวนมาก แต่เปิดใช้เพียงบางส่วนในแต่ละโทเค็น ขณะเดียวกัน ระบบ attention, routing, การสื่อสารระหว่างผู้เชี่ยวชาญ และโครงสร้างพื้นฐานสำหรับ RL ก็มีเป้าหมายเพื่อลดต้นทุนของการดึงความสามารถนั้นออกมาใช้จริง 1

โมเดลใหญ่ระดับ 2.78 ล้านล้านพารามิเตอร์ แต่ไม่ต้องใช้ทั้งหมดทุกโทเค็น

Kimi K3 ถูกระบุว่าเป็นโมเดล MoE แบบมัลติโหมดโดยกำเนิด มีพารามิเตอร์รวม 2.78 ล้านล้านพารามิเตอร์ แต่เปิดใช้จริง 104.2 พันล้านพารามิเตอร์ต่อโทเค็น และรองรับบริบทได้สูงสุด 1 ล้านโทเค็น 1

สาระสำคัญของตัวเลขนี้คือ K3 ต้องการเพิ่ม “พื้นที่เก็บความสามารถ” ของโมเดลให้ใหญ่มาก แต่ไม่ต้องจ่ายต้นทุนอนุมานเทียบเท่าโมเดลแบบ dense ที่เปิดใช้พารามิเตอร์ 2.8 ล้านล้านตัวพร้อมกันทุกโทเค็น กล่าวอีกแบบคือ MoE เป็นกลไกแยก ขนาดรวมของโมเดล ออกจาก ต้นทุนคำนวณต่อโทเค็น

บริบทยาว 1 ล้านโทเค็น ไม่ใช่ 100,000 โทเค็น

รายงานอ้างว่าระบบสามารถ extrapolate บริบทยาวได้โดยกำเนิดถึง 1 ล้านโทเค็น ไม่ใช่ 100,000 โทเค็น โดยช่วงแรกฝึกที่ 8K โทเค็น ก่อนขยายเป็น 64K โทเค็น 1

K3 ไม่ใช้ positional embedding แบบระบุตำแหน่งโดยตรง และให้เหตุผลว่า gate แบบวนซ้ำกับค่า decay ของ Kimi Delta Attention หรือ KDA สามารถเข้ารหัสข้อมูลตำแหน่งได้เพียงพอ จึงขยายไปยังลำดับที่ยาวกว่าเดิมได้โดยไม่ต้องปรับ RoPE 1

KDA และ Gated MLA: ลดต้นทุนบริบทยาว แต่ยังค้นคืนข้อมูลไกล ๆ ได้

KDA เข้ามาแทน attention แบบกำลังสองส่วนใหญ่ด้วยสถานะแบบวนซ้ำที่มีขนาดคงที่ ดังนั้นสถานะต่อโทเค็นและต้นทุนการสร้างโทเค็นถัดไปจึงไม่เพิ่มตามความยาวของบริบทก่อนหน้าในลักษณะเดียวกับ KV cache ของ full attention 1

Moonshot สลับชั้น KDA 3 ชั้นกับชั้น Gated MLA 1 ชั้น:

• KDA ทำหน้าที่ประมวลผลลำดับอย่างต่อเนื่องด้วยต้นทุนต่ำ
• Gated MLA ช่วยคืนความสามารถในการดึงข้อมูลสำคัญจากตำแหน่งไกล ๆ ในบริบท

ส่วนการกำหนดค่าต่ำสุดของอัตรา decay ใน KDA ไม่ได้เป็นเพียงเทคนิคเพื่อคุณภาพของโมเดล แต่เป็นมาตรการด้านการคำนวณด้วย: ช่วยหลีกเลี่ยงค่า decay ที่เล็กจนมีปัญหาด้านตัวเลข และเปิดทางให้คำนวณแบบแบ่งบล็อกที่เหมาะกับ tensor core 1

AttnRes: สร้างทางลัดข้ามความลึกของโมเดล

K3 มีความลึก 93 ชั้น และใช้ Attention Residuals หรือ AttnRes เพื่อป้องกันไม่ให้ชั้นจำนวนมากที่พึ่งพา linear attention กลายเป็น “เกาะข้อมูล” ที่ส่งต่อสาระสำคัญได้ทีละชั้นเท่านั้น

แนวคิดคือ ชั้นที่อยู่ลึกกว่าเรียกคืนตัวแทนข้อมูลที่ถูกบีบอัดจากบล็อกชั้นก่อนหน้าได้โดยตรง จึงมีเส้นทางค้นคืนข้อมูลข้ามความลึกของเครือข่าย ผลที่รายงานอ้างหวังคือรักษาคุณภาพไว้ได้ แม้เปลี่ยน global attention ที่มีต้นทุนสูงไปใช้ KDA เป็นส่วนมาก 1

Stable LatentMoE และ MoonEP: ความจุจะคุ้มค่าก็ต่อเมื่อส่งโทเค็นหา expert ได้ทัน

K3 ใช้ expert 896 ตัว และเลือกใช้งาน 16 ตัวต่อโทเค็น เพื่อเพิ่มความจุแบบมีเงื่อนไข (conditional capacity) ระบบ Stable LatentMoE ใช้วิธีปรับสมดุล routing ตาม quantile โดยมองการจัดสรรโทเค็นไปยัง expert เป็นปัญหาการจัดสรรอย่างสมดุล และรายงานได้อนุมานคำตอบเหมาะที่สุดภายใต้สมมติฐานระดับแบตช์ 1

อย่างไรก็ดี ตอนนำไปให้บริการจริง router จะใช้ bias ของ expert ที่กำหนดคงที่ร่วมกับการเลือก top-k ตามปกติ ไม่ได้รันตัวแก้ปัญหาปรับสมดุลนั้นทุกครั้งระหว่างอนุมาน 1 ดังนั้นคำว่า “สมดุลสมบูรณ์” ควรตีความว่าเป็นผลลัพธ์ของโจทย์ optimization ภายใต้เงื่อนไขที่ระบุ ไม่ใช่คำรับประกันว่าทุกแบตช์ในสภาพใช้งานจริงจะสมดุลอย่างสมบูรณ์

ด้านระบบ MoonEP มีความสำคัญเพราะ MoE ขนาดใหญ่อาจคุ้มทุนได้ก็ต่อเมื่อโทเค็นที่ถูก route สามารถส่งไปยัง expert ที่เลือกไว้ได้ โดยไม่ให้ความหน่วงของเครือข่ายหรือเครื่องที่ทำงานช้าที่สุดกลายเป็นคอขวด MoonEP จึงมีบทบาทในการปรับสมดุลการสื่อสารแบบ all-to-all ที่เกิดจากความต้องการ expert ไม่เท่ากัน 1

นัยสำคัญคือ ข้ออ้างเรื่องสถาปัตยกรรมกับระบบไม่ได้แยกขาดจากกัน: โมเดลที่มี expert 896 ตัวจะขยายสเกลได้จริงหรือไม่ ขึ้นกับระบบสื่อสารด้วย

จุดสำคัญอีกด้าน: ใช้คอมพิวต์มากขึ้น “ตอนใช้งาน”

วิทยานิพนธ์ของ K3 ไม่ได้จบที่การสร้างโมเดลใหญ่ขึ้น รายงานเสนอว่าหลังการฝึก โมเดลควรใช้จำนวนขั้นตอนระหว่างตอบคำถามมากขึ้นได้ เช่น วางแผน ค้นเว็บ เขียนและทดสอบโค้ด เรียกใช้เครื่องมือ หรือทบทวนแก้คำตอบของตัวเอง

โครงสร้างพื้นฐาน sandbox แบบ lightweight VM ช่วยให้สร้างเส้นทาง RL ที่ตรวจสอบผลได้และมีระยะยาวจำนวนมาก รวมถึงแตกแขนงหรือกลับมาทำงานต่อจาก snapshot ได้ในต้นทุนต่ำ 1 สิ่งนี้เป็นฐานสำหรับฝึกโมเดลให้ใช้ “เวลาคิด” หรือคอมพิวต์ขณะทดสอบได้มากขึ้น แทนที่จะพึ่งพาเพียงโมเดล pretrained ขนาดใหญ่ที่คงที่

รายงานยังกล่าวถึงการกลั่นความสามารถจาก teacher หลายตัวที่เชี่ยวชาญต่างโดเมนและการให้เหตุผล รวมเข้าเป็นระบบเดียว ซึ่งมีเป้าหมายให้ได้พฤติกรรมเฉพาะทางโดยไม่ต้องให้บริการโมเดลแยกกันถึงเก้าตัว 1

คะแนน BrowseComp สนับสนุนผลลัพธ์ปลายทาง แต่ยังไม่พิสูจน์ว่าองค์ประกอบใดเป็นเหตุ

K3 ทำคะแนน 91.2% บน BrowseComp ตามตารางอันดับของบุคคลที่สาม ณ วันที่ 2 กันยายน 2026 4 หากทำซ้ำผลได้ คะแนนดังกล่าวจะสนับสนุนข้ออ้างว่า K3 แข็งแกร่งเป็นพิเศษในงานเอเจนต์ค้นหาข้อมูลที่ต้องทำต่อเนื่องหลายขั้นตอน

แต่คะแนน benchmark เป็นผลลัพธ์แบบ end-to-end จึงยังแยกไม่ได้ว่า KDA, AttnRes, การ route ของ MoE, สภาพแวดล้อม RL, การกลั่นโมเดล หรือคอมพิวต์ขณะอนุมาน มีส่วนต่อคะแนนมากน้อยเพียงใด

ข้อควรระวังเรื่องการเทียบราคา

ยังไม่พบหลักฐานจากรายงานเทคนิคหรือแหล่งอิสระที่มีความน่าเชื่อถือสูง ซึ่งยืนยันคำกล่าวว่า K3 มีต้นทุนเพียง “ครึ่งหนึ่งของ GPT-5.6 Sol” หรือผล Kimi Code Bench ตามหลัง “Claude Fable 5” อยู่ 4 จุดที่ต้นทุน 38% อย่างแม่นยำ

แหล่งเปรียบเทียบหนึ่งกลับรายงานต้นทุนโดยประมาณต่อภารกิจที่ทำสำเร็จของ K3 ที่ 0.94 ดอลลาร์สหรัฐ เทียบกับ 1.04 ดอลลาร์สหรัฐ สำหรับ GPT-5.6 Sol ซึ่งไม่ได้ใกล้เคียงกับส่วนต่าง 50% 8 ตัวเลขต้นทุนจึงควรถูกมองว่าเปลี่ยนแปลงได้ตามการตั้งค่าโมเดล พรอมป์ต์ วันที่คิดราคา และวิธีนับต้นทุน จนกว่าจะมีการเปิดเผย evaluation harness และบัญชีต้นทุนอย่างครบถ้วน

บทสรุป

ข้อเสนอเชิงกลยุทธ์ของ Moonshot AI จึงไม่ใช่แค่การแข่งขันว่าใครให้ราคาถูกกว่า แต่เป็นข้อเสนอเรื่อง “สแตก” ใหม่ของการออกแบบโมเดลและระบบ: ข้ามกำแพงระดับล้านล้านพารามิเตอร์ด้วย MoE ที่มีประสิทธิภาพ แล้วทำให้บริบทยาวและการอนุมานแบบเอเจนต์กลายเป็นความสามารถที่ใช้งานได้จริง

อย่างไรก็ตาม ข้ออ้างเปรียบเทียบกับ “DeepSeek V4 Pro” หรือข้อสรุปว่าโมเดลโอเพนซอร์สทั้งหมดติดเพดานใกล้ 1 ล้านล้านพารามิเตอร์นั้น ยังไม่ได้รับการพิสูจน์จากตัวรายงาน K3 เองตามหลักฐานที่มีอยู่