Kog Inference Engine: 3,000 Tokens/วินาที บน GPU มาตรฐาน โดยไม่ต้องใช้ชิปเฉพาะ

นวัตกรรมหลักของ Kog คือ monokernel — โปรแกรมเดียวที่ทำงานถาวรบน GPU รันขั้นตอนการ decode ของ LLM ทั้งหมดในคราวเดียว (prefill, decode, LM-head sampling) ขจัดภาระการเปิดใช้เคอร์เนลซ้ำในทุกโทเคน ซึ่งเป็นปัญหาใหญ่ของระบบพื้นฐานทั่วไป ในระบบมาตรฐานอย่าง vLLM, SGLang และ TensorRT-LLM แต่ละโทเคนต้องเปิด GPU kernel ใหม่ แต่ละครั้งเสียเวลา overhead ประมาณ 4.5 ไมโครวินาที บวกกับเวลาในการเริ่ม HBM ใหม่ ในทางกลับกัน เอ็นจิ้นของ Kog ข้ามไลบรารีการสื่อสารมาตรฐาน และกำจัดการซิงโครไนซ์กริดซึ่งใช้เวลามากถึง 35% ของเวลาในการสร้างโทเคน

การอ้างว่า 'เร็วกว่า 30 เท่า' เทียบกับความเร็ว decoding ทั่วไปที่ 100–300 โทเคน/วินาทีสำหรับโมเดล 2B–8B บน GPU ระดับไฮเอนด์ ขณะที่ Kog ทำได้ 3,000 โทเคน/วินาที

ผลลัพธ์ Tech Preview และข้อจำกัดที่ชัดเจน

ผลลัพธ์:

• มากกว่า 3,000+ โทเคนต่อวินาทีต่อคำขอ บนโหนด 8× AMD MI300X กับโมเดล Laneformer 2B (FP16, batch size 1, ไม่ใช้ speculative decoding)
• 2,100 โทเคนต่อวินาทีต่อคำขอ บน 8× NVIDIA H200 ภายใต้เงื่อนไขเดียวกัน
• ความหน่วงต่ำพอสำหรับการใช้งานแบบโต้ตอบแบบ real-time — ตัวอย่างการสาธิตเปิดให้ทดลองได้ที่ playground.kog.ai
• โมเดล Laneformer 2B ทำคะแนน HumanEval+ ได้ 45.1% และ MBPP+ ได้ 51.6% ในการ decode แบบ greedy

ข้อจำกัด:

• Preview รันได้เฉพาะโมเดล 2.3B พารามิเตอร์ (Laneformer 2B) ยังไม่มีการสาธิตบนโมเดลขนาดใหญ่
• เป็นการใช้งาน คนเดียวครั้งละหนึ่งคำขอ — ยังไม่ใช่ระบบ serving สำหรับผู้ใช้หลายคนแบบแบตช์ และไม่แสดง throughput ภายใต้ภาระงานพร้อมกัน
• รองรับ GPU เพียงสองรุ่น: AMD MI300X และ NVIDIA H200
• พนักงานเพียง 11 คน ถือว่าน้อยมากสำหรับขอบเขตความทะเยอทะยาน

กรณีการใช้งานเป้าหมายและความคืบหน้าทางธุรกิจ

Kog มุ่งเน้นสามสถานการณ์หลัก:

• งาน AI Agent — บริษัทโต้แย้งว่า GPU ไม่เหมาะสมกับความต้องการแบบวนซ้ำและความหน่วงต่ำของ AI agents และเอ็นจิ้นของพวกเขาสามารถแก้ปัญหานี้ได้
• การอนุมาน LLM แบบ Real-time — coding copilot, แชทบอท และแอปพลิเคชันที่ต้องการความหน่วงต่ำกว่า 100 มิลลิวินาทีต่อโทเคน
• Enterprise Inference แบบโฮสต์เอง — องค์กรที่มี GPU ระดับดาต้าเซ็นเตอร์อยู่แล้วและต้องการหลีกเลี่ยงการซื้อฮาร์ดแวร์อนุมานเฉพาะทาง

ในด้านธุรกิจ Kog รายงานว่า มีลูกค้าธุรกิจจริง 200+ ราย ณ เดือนสิงหาคม 2026 ตามที่ CEO Delalleau กล่าว Tech Preview ขึ้นหน้าแรกของ Hacker News ในเดือนพฤษภาคม 2026 และบริษัทได้รับเงินทุนรอบ Seed โดยมี Varsity VC เป็นผู้ร่วมนำ โดย Kamel Zeroual พาร์ทเนอร์ของ Varsity เป็นผู้ร่วมก่อตั้งสตาร์ตอัปแรกของ Delalleau คือ Stribe

เหตุใดนักฟิสิกส์สสารควบแน่นที่ผันตัวเป็นแฮกเกอร์จึงบริหารบริษัทนี้

CEO Gaël Delalleau นำประสบการณ์ที่ผิดแผกมาสู่โครงสร้างพื้นฐาน AI: ฟิสิกส์สสารควบแน่น และ ความมั่นคงปลอดภัยทางไซเบอร์เชิงรุก

• ฟิสิกส์สสารควบแน่น สอนให้เขาให้เหตุผลจากหลักการพื้นฐานว่าฮาร์ดแวร์จริงทำงานอย่างไรในระดับต่ำ — อิเล็กตรอน, แบนด์วิธหน่วยความจำ ข้อจำกัดระดับทรานซิสเตอร์ ทีมงานของเขามองการปรับแต่ง GPU เป็นปัญหาทางฟิสิกส์มากกว่าปัญหาทางวิศวกรรมซอฟต์แวร์
• ความมั่นคงปลอดภัยทางไซเบอร์เชิงรุก ทำให้เขามีแนวคิดแบบวิศวกรรมย้อนกลับเชิงรุก เอ็นจิ้นของ Kog ตรวจสอบ GPU ในระดับแอสเซมบลีและไบนารี ค้นหาช่องว่างที่ไดรเวอร์และไลบรารีมาตรฐานไม่มีให้เห็น — เป็น 'แนวคิดของผู้โจมตี' ที่ประยุกต์ใช้กับประสิทธิภาพฮาร์ดแวร์
• Delalleau ไม่ใช่นักวิจัย ML แบบดั้งเดิม สตาร์ตอัปแรกของเขา (Stribe ศิษย์เก่า TechCrunch50 2009) ไม่เกี่ยวข้องกับ AI เขาบรรยายตัวเองว่าเป็นนักคิดจากหลักการพื้นฐานที่ออกแบบอัลกอริทึมจากฮาร์ดแวร์ขึ้นมา

ความท้าทายในการขยายขนาด: ขนาดทีม, การรองรับชิป และขนาดโมเดล

Kog เผชิญอุปสรรคสำคัญสามประการ:

• ขนาดทีม: ด้วยพนักงานเพียง 11 คน การย้าย monokernel ที่ปรับแต่งด้วยมืออย่างลึกซึ้งไปยังสถาปัตยกรรม GPU ใหม่จึงต้องใช้แรงงานมาก
• การรองรับชิปใหม่: ปัจจุบันเอ็นจิ้นรองรับเฉพาะ AMD MI300X และ NVIDIA H200 GPU แต่ละรุ่นใหม่ต้องใช้วิศวกรรมย้อนกลับในระดับแอสเซมบลีด้วยตนเอง CEO Delalleau ยอมรับว่านี่คือคอขวด แม้ว่าเขาคาดหวังว่าสถาปัตยกรรม GPU ที่ใหม่กว่าด้วยแบนด์วิธหน่วยความจำที่สูงกว่าจะเป็นเป้าหมายที่ง่ายกว่า
• ขนาดโมเดล: การขยายจากโมเดล 2B พารามิเตอร์ไปเป็น LLM ขนาดเต็ม (70B+) ถือเป็น 'การก้าวกระโดดครั้งใหญ่' ตามที่ Delalleau กล่าว เทคนิคที่ใช้ได้กับโมเดลขนาดเล็กอาจไม่สามารถขยายไปยังพื้นที่หน่วยความจำและการคำนวณที่ใหญ่กว่าได้อย่างตรงไปตรงมา

จุดเปลี่ยนสำคัญ: การพิสูจน์ด้วย Large Language Models

ขั้นตอนสำคัญถัดไปของ Kog คือ การพิสูจน์ว่าแนวทางของมันใช้ได้กับ Large Language Models (70B+ พารามิเตอร์) CEO Delalleau ระบุว่าขณะนี้บริษัทมุ่งเน้นไปที่การขยายเทคนิคไปยัง LLM ขนาดเต็ม ความมั่นใจมาจากสถาปัตยกรรม GPU ที่ใหม่กว่าซึ่งมีแบนด์วิธหน่วยความจำสูงกว่าอย่างมาก — ทรัพยากรที่ Kog เชื่อว่ายังคงถูกนำไปใช้ได้ไม่เต็มประสิทธิภาพโดยซอฟต์แวร์มาตรฐาน บริษัทยังไม่ได้ประกาศวันที่แน่นอน แต่การสาธิตนี้ถูกมองว่าเป็นจุดพิสูจน์แห่งความสำเร็จหรือความล้มเหลวของแนวคิดทั้งหมด