Kog vs. กำแพง GPU: เมื่อซอฟต์แวร์อย่างเดียวก็ทำให้ LLM Inference เร็วขึ้น 30 เท่า

Kog สตาร์ทอัพฝรั่งเศสประกาศความสำเร็จในการทำ LLM inference ที่เร็วขึ้นถึง 30 เท่าบน GPU ดาต้าเซ็นเตอร์มาตรฐาน ด้วยแนวทางที่เน้นซอฟต์แวร์เป็นหลัก โดยออกแบบร่วมกันระหว่างสถาปัตยกรรมโมเดลแบบกำหนดเอง (Laneformer), inference engine แบบ single-kernel (KIE), และเลเยอร์การสื่อสารแบบกำหนดเอง (KCCL) เพื่อกำจัดทุกสาเหตุของการหยุดชะงักใน decode loop

แทนที่จะสร้าง ASIC หรือฮาร์ดแวร์เฉพาะ Kog มองสามเลเยอร์เป็นระบบที่ออกแบบร่วมกัน:

• Monokernel (single persistent CUDA kernel): การ decode LLM ทั้งหมดรันเป็น kernel ถาวรเดียว ไม่มีการเปิด kernel หรือหยุดระหว่างเลเยอร์ ทำให้ไม่ต้องเสียเวลาในการเปิดตัว kernel เลย
• Delayed Tensor Parallelism (DTP): tensor parallelism มาตรฐานจะต้องรอ all-reduce ทุกเลเยอร์ Kog เลื่อน all-reduce แต่ละครั้งไป δ=2 เลเยอร์ ทำให้การสื่อสารทับซ้อนกับการคำนวณและการสตรีมน้ำหนัก ทำให้ GPU ไม่ว่างรอข้อมูล
• Lane-structured Transformer architecture: Laneformer แบ่งโมเดลออกเป็น 8 "เลน" ขนานกันที่สอดคล้องกับตารางการสื่อสารของ DTP ทำให้ engine ซ่อน overhead ของ tensor parallelism ได้สมบูรณ์แบบ
• Custom communication layer (KCCL): แทนที่ NCCL/RCCL มาตรฐาน เพื่อให้ได้ tensor parallelism ที่หน่วงเวลาต่ำและปรับขนาดเชิงเส้นข้าม GPU
• Assembly-level optimization: Kog ทำงานที่ระดับ C++/assembly แทนที่จะซ้อนการปรับแต่งบน CUDA หรือ ROCm เพื่อกำหนดเป้าหมายทุก cycle ของ bandwidth หน่วยความจำ GPU และการใช้ประโยชน์จากการคำนวณ

Laneformer 2B: ผลลัพธ์ที่พิสูจน์แล้ว

Kog เปิดซอร์ส Laneformer 2B (2.3 พันล้านพารามิเตอร์) ซึ่งเป็นโมเดล coding ที่ถูกปรับแต่งคำสั่ง ออกแบบมาเพื่อความเร็วในการ decode มากกว่าคะแนน benchmark ดิบ ความเร็วเหล่านี้เร็วกว่า throughput ทั่วไปของ vLLM สำหรับโมเดลขนาดนี้ประมาณ 10 เท่า

เมตริก	ผลลัพธ์
ความเร็ว Decode บน 8× AMD MI300X	3,000 output tokens/s ต่อคำขอ (FP16, batch size 1)
ความเร็ว Decode บน 8× NVIDIA H200	2,100 output tokens/s ต่อคำขอ (FP16, batch size 1)
HumanEval+ (greedy)	45.1%
MBPP+ (greedy)	51.6%
วิธีการ	ไม่มีการ quantization, ไม่มีการ speculative decoding, ไม่มีการ pruning

ก้าวต่อไปสู่การขยายขนาด

Kog เปิดตัว tech preview ในโมเดลขนาด 2B ตอนนี้บริษัทกำลังแข่งกับเวลาเพื่อขยายเทคนิค:

• เป้าหมายระยะใกล้: แสดงให้เห็น ความเร็วเพิ่มขึ้น 10 เท่าในโมเดลระดับอุตสาหกรรมขนาดใหญ่ (เช่น 70B+ แบบ dense หรือ MoE) บริษัทคาดว่าจะถึงเป้าหมายนี้ในอีกไม่กี่เดือน
• เป้าหมายระยะยาว: แสดงให้เห็นว่าแนวทางของตนสามารถส่งมอบ inference ที่เร็วขึ้น 30 เท่าในโมเดล MoE ขนาดใหญ่ระดับ前沿 ด้วยความเร็วใกล้เคียงกับที่ทำได้บน Laneformer 2B Kog อ้างว่าเทคนิค DTP และ monokernel ของตนปรับขนาดได้ดีกับสถาปัตยกรรม MoE
• นับตั้งแต่เปิดตัวในเดือนพฤษภาคม 2026 Kog บอกว่าสร้าง โอกาสทางธุรกิจที่มีตัวตนมากกว่า 200 ราย และมุ่งเน้นไปที่การสนับสนุนโมเดลขนาดใหญ่ขึ้นเพื่อตอบสนองความต้องการขององค์กร

เปรียบเทียบกับคู่แข่ง

ZML — สตาร์ทอัพ AI ฝรั่งเศสอีกแห่ง (ได้รับการรับรองโดย Yann LeCun) ZML ใช้แนวทางที่แตกต่าง: เปิดตัว LLMD, inference engine ฟรีที่ช่วยให้โมเดลโอเพนซอร์สจำนวนมากทำงานบนชิปหลากหลายประเภท (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) โดยใช้แนวทางที่ใช้คอมไพเลอร์แบบรวมศูนย์ ZML ให้ความสำคัญกับ การพกพาข้ามฮาร์ดแวร์และการรองรับหลายชิป มากกว่า latency ต่อคำขอที่ต่ำมาก ในทางตรงกันข้าม Kog ถูกสร้างขึ้นมาเพื่อลด latency สูงสุดบน GPU ดาต้าเซ็นเตอร์ระดับสูงเฉพาะ (MI300X, H200) ผ่านการปรับแต่งฮาร์ดแวร์แบบเจาะลึก

Cerebras — ใช้กลยุทธ์ฮาร์ดแวร์เป็นหลัก: Wafer-Scale Engine (WSE-3) ชิปเดี่ยวขนาดใหญ่ที่ขจัดความจำเป็นในการสื่อสารข้าม GPU Cerebras ทำความเร็ว ~2,100 tokens/s บน Llama 3.1 70B (batch 1) บนฮาร์ดแวร์ WSE-3 — ที่น่าสังเกตคือ ความเร็วนั้นสำหรับ โมเดล 70B ไม่ใช่โมเดล 2B

มิติ	Kog	Cerebras
แนวทาง	ซอฟต์แวร์ล้วนบน GPU มาตรฐาน	ฮาร์ดแวร์ Wafer-scale แบบกำหนดเอง
การสาธิตที่ดีที่สุด	3,000 tok/s บนโมเดล 2B	~2,100 tok/s บนโมเดล 70B
เคลม latency	ตั้งเป้า 30x ในโมเดล前沿	~4x เทียบกับ H100 ในโมเดล 70B
ต้นทุนฮาร์ดแวร์	ใช้โครงสร้างพื้นฐาน GPU ที่มีอยู่	ต้องใช้ระบบ CS-3 ที่เป็นกรรมสิทธิ์
ความพร้อม	ระยะเริ่มต้น (tech preview, 2B เท่านั้น)	ระดับการผลิตสำหรับโมเดลโอเพนซอร์สหลายรุ่น

ข้อสังเกตสำคัญ: ผลลัพธ์ 3,000 tok/s ของ Kog อยู่บนโมเดล 2.3B ซึ่งมีขนาดเล็กกว่าโมเดล 70B ที่ Cerebras ให้บริการด้วยความเร็วใกล้เคียงกันถึงหนึ่งลำดับความสำคัญ Kog ยังไม่ได้แสดงเคลม 30x ในระดับขนาดใหญ่ เป้าหมายถัดไปของบริษัท (10x ในโมเดลอุตสาหกรรมขนาดใหญ่) จะเป็นจุดพิสูจน์ที่สำคัญ