Kimi K2.6 ต้องใช้ GPU กี่ใบถ้าจะ self-host? เช็กเส้นทาง API, vLLM และฮาร์ดแวร์

สิ่งที่ยืนยันได้: มีทาง self-host และมีทาง API

ฝั่ง self-host มีจุดเริ่มต้นที่ตรวจสอบได้สามส่วน ได้แก่ หน้าโมเดล moonshotai/Kimi-K2.6 บน Hugging Face, ไฟล์ docs/deploy_guidance.md ใน repository และหน้า Kimi K2.6 บน vLLM Recipes สำหรับผู้อ่านที่ไม่ได้อยู่สาย infra โดยตรง Hugging Face คือแหล่งโฮสต์โมเดลและไฟล์ประกอบ ส่วน vLLM เป็นเฟรมเวิร์กสำหรับเสิร์ฟโมเดล LLM ให้รับคำขอแบบ API ได้

ฝั่งไม่ self-host ก็มีทางเลือกเช่นกัน CloudPrice ซึ่งเป็นเว็บรวบรวมข้อมูลราคาและ provider ระบุว่า Kimi K2.6 มีให้ใช้งานจาก 3 providers อย่างไรก็ตาม ราคา เงื่อนไข context limit และข้อจำกัดของแต่ละ provider เปลี่ยนได้ ก่อนนำไปใช้จริงควรตรวจที่หน้าของ provider ณ เวลานั้นอีกครั้ง

ทำไมไม่ควรมอง K2.6 เหมือนโมเดล local ขนาดเล็ก

vLLM Recipes ระบุ Kimi K2.6 เป็นโมเดล

1T / 32B active · MOE · 256K ctx

มีเอกสาร vLLM ของ Kimi K2 อีกหน้า แต่หน้านั้นเป็น usage guide สำหรับ moonshotai/Kimi-K2-Instruct ไม่ใช่ Kimi K2.6 โดยตรง จึงนำไปสรุปสเปกขั้นต่ำของ K2.6 ไม่ได้ ถึงอย่างนั้น ตัวอย่างในเอกสารดังกล่าวก็สะท้อนแนวทาง serving ที่ค่อนข้างหนัก: มีการเริ่ม Ray บน

node 0

node 1

--tensor-parallel-size 8

--pipeline-parallel-size 2

--dtype bfloat16

--quantization fp8

--kv-cache-dtype fp8

ฝั่งบทความบุคคลที่สามก็ให้สัญญาณคล้ายกัน AllThingsHow แสดงตัวอย่างคำสั่ง vLLM สำหรับ moonshotai/Kimi-K2.6-INT4 โดยใช้

--tensor-parallel-size 4

--max-model-len 131072

เลือก API หรือ self-host: แยกทางตัดสินใจก่อน

Checklist ก่อนทำ PoC ฮาร์ดแวร์

1. ล็อกชื่อและรุ่นโมเดลให้ชัด

อย่านำ moonshotai/Kimi-K2.6, moonshotai/Kimi-K2.6-INT4 และ moonshotai/Kimi-K2-Instruct มาปนเป็นโจทย์เดียวกัน หน้าโมเดล K2.6, ตัวอย่าง K2.6 INT4 ของบุคคลที่สาม และ usage guide ของ K2-Instruct ชี้ไปคนละรุ่นหรือคนละ variant ความต้องการฮาร์ดแวร์จึงสลับใช้กันไม่ได้

2. กำหนด context length ก่อนทดสอบ

vLLM Recipes ระบุ Kimi K2.6 ที่ 256K context ส่วนตัวอย่าง K2.6 INT4 ของ AllThingsHow ตั้ง

--max-model-len 131072

3. กำหนด quantization และ KV cache ให้ตรงกัน

เอกสาร vLLM สำหรับ Kimi K2-Instruct มีตัวอย่างที่ใช้ FP8 quantization และ FP8 KV cache ขณะที่ตัวอย่าง K2.6 ของ AllThingsHow ใช้ชื่อโมเดล INT4 เมื่อ quantization, KV cache dtype, batch size หรือจำนวนผู้ใช้พร้อมกันเปลี่ยน ผลด้านฮาร์ดแวร์และ performance ก็เปลี่ยนตาม

4. บันทึก parallelism ทุกค่า

ตัวอย่าง vLLM ของ K2-Instruct ใช้ทั้ง tensor parallel และ pipeline parallel ส่วนตัวอย่าง K2.6 INT4 ของ AllThingsHow ใช้

--tensor-parallel-size 4

5. เช่าก่อนซื้อ

ถ้ากำลังคิดจะลงทุนกับ H100, H200, RTX 4090 หรือ GPU อื่น ๆ วิธีที่รอบคอบที่สุดคือเช่าเครื่องหรือใช้ environment ชั่วคราวเพื่อทดสอบด้วยรุ่นโมเดลจริง, context จริง, concurrent load จริง และ serving framework ที่จะใช้จริงก่อน ข้อมูลที่อ้างอิงได้ตอนนี้ยังไม่พอรองรับคำมั่นแบบ การ์ดจำนวนนี้ต้องรันลื่นแน่นอน

บทสรุปสำหรับทีมที่ต้องตัดสินใจ

Kimi K2.6 ไม่ได้บังคับให้คุณต้อง self-host เพราะมีเส้นทาง provider/API อยู่แล้ว ถ้าจำเป็นต้อง self-host ให้เริ่มจากเอกสาร deploy บน Hugging Face และ vLLM Recipes แต่ต้องแยกให้ชัดว่าข้อมูลจากบทความบุคคลที่สามเป็นเพียงตัวอย่าง ไม่ใช่สเปกขั้นต่ำทางการ

คำตอบที่ปลอดภัยที่สุดตอนนี้คือ มอง Kimi K2.6 self-host เป็นโปรเจกต์ server-grade multi-GPU ทำ PoC ด้วยรุ่นโมเดลเดียวกัน, quantization เดียวกัน, context เดียวกัน และ concurrency ที่ใกล้งานจริงที่สุด ก่อนตัดสินใจซื้อเครื่อง ในเมื่อยังไม่มีตัวเลขขั้นต่ำ GPU/VRAM แบบทางการ ก็ไม่ควรสัญญาว่าการ์ดเดียว, consumer GPU หรือจำนวน H100 คงที่จำนวนหนึ่งจะเพียงพอเสมอ