Kimi K2.6 ทำตามคำสั่งและแก้ตัวเองดีขึ้นจริงหรือยัง

ใช้งานได้ ไม่เท่ากับพิสูจน์แล้วว่าเก่งขึ้น

หลักฐานเรื่องความพร้อมใช้งานค่อนข้างชัดเจน Cloudflare changelog ระบุว่า Moonshot AI Kimi K2.6 พร้อมใช้งานบน Workers AI แล้ว ส่วนฝั่ง Kimi API Platform ก็มีเอกสาร quickstart สำหรับ K2.6 สำหรับนักพัฒนาที่อยากทดลอง นี่เพียงพอจะบอกว่าเริ่มนำไปทดสอบหรือเชื่อมต่อได้

แต่การบอกว่าโมเดลเก่งขึ้นต้องใช้ข้อมูลอีกแบบหนึ่ง เช่น ชุด prompt เดียวกัน วิธีให้คะแนนเดียวกัน ค่าตั้งต้นของโมเดลเดียวกัน และ ideally ต้องมีคะแนนของรุ่นก่อนเทียบกับรุ่นใหม่แบบตรงไปตรงมา แหล่งข้อมูลที่มีอยู่ตอนนี้ยังไม่แสดงการเทียบ K2.6 กับรุ่นก่อนในรูปแบบนั้น

การทำตามคำสั่ง: K2-Instruct มีฐานดี แต่ K2.6 ยังไม่มีคะแนนเทียบรุ่นต่อรุ่น

หลักฐานที่ใกล้ที่สุดในด้านบวกมาจากงานวิจัย Kimi K2 ซึ่งระบุว่า K2-Instruct ถูกประเมินด้าน instruction-following ด้วย IFEval และ Multi-Challenge และได้สถานะ top-tier ในกลุ่มโมเดลโอเพนซอร์ส

IFEval เกี่ยวข้องกับคำถามนี้โดยตรง เพราะเป็น benchmark ที่วัดว่าโมเดลทำตามคำสั่งที่ตรวจสอบได้หรือไม่ เช่น จำกัดรูปแบบคำตอบ ใส่หรือห้ามใส่คำบางคำ จำกัดความยาว หรือบังคับโครงสร้างคำตอบ ถ้าโจทย์ของคุณคือโมเดลต้องตอบเป็น JSON ต้องมีหัวข้อครบ ต้องใช้ภาษาเดียวตลอด หรือห้ามเกินความยาวที่กำหนด การวัดแบบนี้มีประโยชน์กว่าการอ่านคำตอบแล้วรู้สึกว่าเหมือนจะดี

อย่างไรก็ตาม หลักฐานยังไปไม่ถึงข้อสรุปว่า K2.6 ดีขึ้นกว่ารุ่นก่อน งานวิจัย Kimi K2 สนับสนุนว่า K2-Instruct มีพื้นฐานด้าน instruction-following แต่ไม่ได้ให้คะแนน K2.6 เทียบกับ K2 หรือรุ่นเก่าใน benchmark เดียวกัน ถ้าจะยืนยันจริง ควรมีตัวเลข pass rate ของ K2.6 เทียบกับรุ่นก่อนบน IFEval, Multi-Challenge หรือชุดทดสอบภายในที่เปิดเผยเงื่อนไขชัดเจน

การแก้ตัวเอง: ยังขาดหลักฐานที่วัดตรงจุด

ในบทความนี้ การแก้ตัวเองหมายถึงสถานการณ์ที่โมเดลตอบผิด ลืมเงื่อนไข ฟอร์แมตพัง หรือทำขั้นตอนเครื่องมือไม่สำเร็จ แล้วสามารถใช้ feedback เพื่อแก้คำตอบ เปลี่ยนแผน หรือวางกลยุทธ์ใหม่ได้

นี่ไม่ใช่เรื่องเดียวกับการตอบครั้งแรกให้ดูดี เพราะความสามารถที่ต้องวัดคือ หลังจากผิดแล้วจะแก้ได้จริงแค่ไหน โดยปกติการทดสอบที่น่าเชื่อถือควรแยกดูอย่างน้อย 4 อย่าง:

• อัตราผ่านตั้งแต่ครั้งแรก หรือ first-pass pass rate
• อัตราแก้สำเร็จหลังพบข้อผิดพลาด เช่น JSON ไม่ถูก schema ช่องตารางหาย หรือใช้ภาษาผิด
• ความสามารถในการเลือกทางแก้ใหม่เมื่อ tool call หรือขั้นตอนกลางล้มเหลว
• pass rate หลังได้รับ feedback จาก validator หรือผู้ตรวจ

แหล่งข้อมูลที่มีตอนนี้พูดถึงช่องทางใช้งาน K2.6 พื้นฐานการประเมินของ K2 และคะแนนภาพรวมจาก BenchLM แต่ยังไม่พบตัวเลขแบบ self-correction pass rate, error recovery benchmark หรืออัตราสำเร็จหลังการวางแผนใหม่สำหรับ K2.6 ดังนั้น คำกล่าวว่า K2.6 แก้ตัวเองได้ดีขึ้นอย่างชัดเจน ยังถือว่าหลักฐานไม่พอ

คะแนนรวมบน leaderboard ใช้อ้างอิงได้ แต่แทนการทดสอบเฉพาะทางไม่ได้

BenchLM ระบุว่า Kimi 2.6 อยู่ที่อันดับ 13 จาก 110 โมเดลบน provisional leaderboard และมี overall score 83/100 ตัวเลขนี้ใช้เป็นภาพรวมได้ว่าโมเดลอยู่ในกลุ่มที่ควรพิจารณาทดลอง

แต่ overall score ไม่ใช่คะแนน instruction-following โดยตรง และยิ่งไม่ใช่คะแนน self-correction โดยตรง คะแนนรวมอาจผสมหลายประเภทงาน ถ้าสิ่งที่ต้องการคือโมเดลที่ไม่หลุดคำสั่ง ส่งออกฟอร์แมตนิ่ง และแก้หลังผิดได้ดี ควรดู benchmark ย่อยหรือทำ regression test เอง

ถ้าจะทดสอบ K2.6 เอง ควรดูอะไร

เมื่อ K2.6 มีช่องทางใช้งานผ่าน Workers AI และ Kimi API แล้ว วิธีที่ปลอดภัยที่สุดคือใส่ไว้ใน shortlist แล้วทดสอบกับงานจริงของคุณ ไม่ควรตัดสินจากชื่อรุ่นหรือคะแนนรวมอย่างเดียว

แนวทางที่ใช้ได้จริงคือ:

1. ทำชุด prompt คงที่: ใส่ข้อกำหนดที่ตรวจได้ เช่น JSON schema, จำนวนหัวข้อ, ภาษาที่ต้องใช้, คำที่ต้องมีหรือห้ามมี, ความยาวสูงสุด และโครงสร้างตาราง แนวคิดนี้สอดคล้องกับ IFEval ที่ใช้คำสั่งแบบตรวจสอบได้เพื่อวัดการทำตามคำสั่ง
2. เทียบแบบเงื่อนไขเดียวกัน: ใช้ prompt ชุดเดียวกัน อุณหภูมิเดียวกัน และเกณฑ์ให้คะแนนเดียวกันกับ K2.6 โมเดลที่ใช้อยู่ และรุ่นก่อนที่เข้าถึงได้
3. แยกคะแนนครั้งแรกกับคะแนนหลังแก้: คะแนนครั้งแรกบอกเรื่องการทำตามคำสั่ง ส่วนคะแนนหลัง feedback บอกเรื่องการแก้ตัวเองได้ดีกว่า
4. บันทึกประเภทข้อผิดพลาด: แยกฟอร์แมตผิด ช่องหาย ใช้ภาษาผิด ตอบยาวเกิน ปฏิเสธโดยไม่จำเป็น tool fail และแก้รอบสองแล้วยังไม่ผ่าน
5. ใช้การตรวจที่ทำซ้ำได้: ถ้าตรวจได้ด้วย JSON validator, schema check, keyword check หรือผู้ตรวจสองคน ควรใช้วิธีนั้นแทนการตัดสินจากความรู้สึก

บทสรุปที่รัดกุมที่สุด

สิ่งที่ยืนยันได้คือ Kimi K2.6 พร้อมให้ทดลองผ่าน Workers AI และ Kimi API แล้ว และตระกูล Kimi K2 มีพื้นฐานการประเมินด้าน instruction-following จากงานวิจัย Kimi K2 โดยอ้างถึง IFEval และ Multi-Challenge

แต่คำถามว่า Kimi K2.6 ดีกว่ารุ่นก่อนในการทำตามคำสั่งและการแก้ตัวเองหรือไม่ ยังไม่มีหลักฐานสาธารณะที่แน่นพอจะฟันธงได้ คะแนนรวมของ BenchLM ช่วยเป็นบริบทว่าโมเดลน่าสนใจ แต่ไม่พอจะแทนคะแนนเฉพาะด้านทั้งสองนี้

ดังนั้น ข้อสรุปที่แม่นที่สุดในตอนนี้คือ K2.6 ควรอยู่ในรายชื่อโมเดลที่น่าทดสอบ แต่ยังไม่ควรถูกอ้างว่าได้รับการพิสูจน์แล้วว่าทำตามคำสั่งหรือแก้ตัวเองได้ดีกว่ารุ่นก่อนอย่างชัดเจน