Laneformer 2B: ผลลัพธ์ที่พิสูจน์แล้ว

Kog เปิดซอร์ส Laneformer 2B (2.3 พันล้านพารามิเตอร์) ซึ่งเป็นโมเดล coding ที่ถูกปรับแต่งคำสั่ง ออกแบบมาเพื่อความเร็วในการ decode มากกว่าคะแนน benchmark ดิบ ความเร็วเหล่านี้เร็วกว่า throughput ทั่วไปของ vLLM สำหรับโมเดลขนาดนี้ประมาณ 10 เท่า

ก้าวต่อไปสู่การขยายขนาด

Kog เปิดตัว tech preview ในโมเดลขนาด 2B ตอนนี้บริษัทกำลังแข่งกับเวลาเพื่อขยายเทคนิค:

• เป้าหมายระยะใกล้: แสดงให้เห็น ความเร็วเพิ่มขึ้น 10 เท่าในโมเดลระดับอุตสาหกรรมขนาดใหญ่ (เช่น 70B+ แบบ dense หรือ MoE) บริษัทคาดว่าจะถึงเป้าหมายนี้ในอีกไม่กี่เดือน
• เป้าหมายระยะยาว: แสดงให้เห็นว่าแนวทางของตนสามารถส่งมอบ inference ที่เร็วขึ้น 30 เท่าในโมเดล MoE ขนาดใหญ่ระดับ前沿 ด้วยความเร็วใกล้เคียงกับที่ทำได้บน Laneformer 2B Kog อ้างว่าเทคนิค DTP และ monokernel ของตนปรับขนาดได้ดีกับสถาปัตยกรรม MoE
• นับตั้งแต่เปิดตัวในเดือนพฤษภาคม 2026 Kog บอกว่าสร้าง โอกาสทางธุรกิจที่มีตัวตนมากกว่า 200 ราย และมุ่งเน้นไปที่การสนับสนุนโมเดลขนาดใหญ่ขึ้นเพื่อตอบสนองความต้องการขององค์กร

เปรียบเทียบกับคู่แข่ง

ZML — สตาร์ทอัพ AI ฝรั่งเศสอีกแห่ง (ได้รับการรับรองโดย Yann LeCun) ZML ใช้แนวทางที่แตกต่าง: เปิดตัว LLMD, inference engine ฟรีที่ช่วยให้โมเดลโอเพนซอร์สจำนวนมากทำงานบนชิปหลากหลายประเภท (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) โดยใช้แนวทางที่ใช้คอมไพเลอร์แบบรวมศูนย์ ZML ให้ความสำคัญกับ การพกพาข้ามฮาร์ดแวร์และการรองรับหลายชิป มากกว่า latency ต่อคำขอที่ต่ำมาก ในทางตรงกันข้าม Kog ถูกสร้างขึ้นมาเพื่อลด latency สูงสุดบน GPU ดาต้าเซ็นเตอร์ระดับสูงเฉพาะ (MI300X, H200) ผ่านการปรับแต่งฮาร์ดแวร์แบบเจาะลึก

Cerebras — ใช้กลยุทธ์ฮาร์ดแวร์เป็นหลัก: Wafer-Scale Engine (WSE-3) ชิปเดี่ยวขนาดใหญ่ที่ขจัดความจำเป็นในการสื่อสารข้าม GPU Cerebras ทำความเร็ว ~2,100 tokens/s บน Llama 3.1 70B (batch 1) บนฮาร์ดแวร์ WSE-3 — ที่น่าสังเกตคือ ความเร็วนั้นสำหรับ โมเดล 70B ไม่ใช่โมเดล 2B

ข้อสังเกตสำคัญ: ผลลัพธ์ 3,000 tok/s ของ Kog อยู่บนโมเดล 2.3B ซึ่งมีขนาดเล็กกว่าโมเดล 70B ที่ Cerebras ให้บริการด้วยความเร็วใกล้เคียงกันถึงหนึ่งลำดับความสำคัญ Kog ยังไม่ได้แสดงเคลม 30x ในระดับขนาดใหญ่ เป้าหมายถัดไปของบริษัท (10x ในโมเดลอุตสาหกรรมขนาดใหญ่) จะเป็นจุดพิสูจน์ที่สำคัญ

Laneformer 2B: ผลลัพธ์ที่พิสูจน์แล้ว

Kog เปิดซอร์ส Laneformer 2B (2.3 พันล้านพารามิเตอร์) ซึ่งเป็นโมเดล coding ที่ถูกปรับแต่งคำสั่ง ออกแบบมาเพื่อความเร็วในการ decode มากกว่าคะแนน benchmark ดิบ ความเร็วเหล่านี้เร็วกว่า throughput ทั่วไปของ vLLM สำหรับโมเดลขนาดนี้ประมาณ 10 เท่า

ก้าวต่อไปสู่การขยายขนาด

Kog เปิดตัว tech preview ในโมเดลขนาด 2B ตอนนี้บริษัทกำลังแข่งกับเวลาเพื่อขยายเทคนิค:

• เป้าหมายระยะใกล้: แสดงให้เห็น ความเร็วเพิ่มขึ้น 10 เท่าในโมเดลระดับอุตสาหกรรมขนาดใหญ่ (เช่น 70B+ แบบ dense หรือ MoE) บริษัทคาดว่าจะถึงเป้าหมายนี้ในอีกไม่กี่เดือน
• เป้าหมายระยะยาว: แสดงให้เห็นว่าแนวทางของตนสามารถส่งมอบ inference ที่เร็วขึ้น 30 เท่าในโมเดล MoE ขนาดใหญ่ระดับ前沿 ด้วยความเร็วใกล้เคียงกับที่ทำได้บน Laneformer 2B Kog อ้างว่าเทคนิค DTP และ monokernel ของตนปรับขนาดได้ดีกับสถาปัตยกรรม MoE
• นับตั้งแต่เปิดตัวในเดือนพฤษภาคม 2026 Kog บอกว่าสร้าง โอกาสทางธุรกิจที่มีตัวตนมากกว่า 200 ราย และมุ่งเน้นไปที่การสนับสนุนโมเดลขนาดใหญ่ขึ้นเพื่อตอบสนองความต้องการขององค์กร

เปรียบเทียบกับคู่แข่ง

ZML — สตาร์ทอัพ AI ฝรั่งเศสอีกแห่ง (ได้รับการรับรองโดย Yann LeCun) ZML ใช้แนวทางที่แตกต่าง: เปิดตัว LLMD, inference engine ฟรีที่ช่วยให้โมเดลโอเพนซอร์สจำนวนมากทำงานบนชิปหลากหลายประเภท (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) โดยใช้แนวทางที่ใช้คอมไพเลอร์แบบรวมศูนย์ ZML ให้ความสำคัญกับ การพกพาข้ามฮาร์ดแวร์และการรองรับหลายชิป มากกว่า latency ต่อคำขอที่ต่ำมาก ในทางตรงกันข้าม Kog ถูกสร้างขึ้นมาเพื่อลด latency สูงสุดบน GPU ดาต้าเซ็นเตอร์ระดับสูงเฉพาะ (MI300X, H200) ผ่านการปรับแต่งฮาร์ดแวร์แบบเจาะลึก

Cerebras — ใช้กลยุทธ์ฮาร์ดแวร์เป็นหลัก: Wafer-Scale Engine (WSE-3) ชิปเดี่ยวขนาดใหญ่ที่ขจัดความจำเป็นในการสื่อสารข้าม GPU Cerebras ทำความเร็ว ~2,100 tokens/s บน Llama 3.1 70B (batch 1) บนฮาร์ดแวร์ WSE-3 — ที่น่าสังเกตคือ ความเร็วนั้นสำหรับ โมเดล 70B ไม่ใช่โมเดล 2B

ข้อสังเกตสำคัญ: ผลลัพธ์ 3,000 tok/s ของ Kog อยู่บนโมเดล 2.3B ซึ่งมีขนาดเล็กกว่าโมเดล 70B ที่ Cerebras ให้บริการด้วยความเร็วใกล้เคียงกันถึงหนึ่งลำดับความสำคัญ Kog ยังไม่ได้แสดงเคลม 30x ในระดับขนาดใหญ่ เป้าหมายถัดไปของบริษัท (10x ในโมเดลอุตสาหกรรมขนาดใหญ่) จะเป็นจุดพิสูจน์ที่สำคัญ