מנוע ה-Kog Inference: 3,000 טוקנים לשנייה על GPUs רגילים ללא שבב ייעודי

תעשיית הבינה המלאכותית השקיעה מיליארדים במרדף אחר שבבים מהירים יותר. סטארטאפ פריזאי בשם Kog AI מהמר שהפתרון היה צריך להיות אחר — ותצוגה מקדימה טכנית ממאי 2026 מציעה שאולי הצדק איתו.

קוג (Kog AI) היא סטארטאפ תשתיות AI צרפתי שנוסד ב-2023 על ידי גאל דלאלו. המוצר המרכזי שלה הוא Kog Inference Engine (KIE) — מנוע inference מבוסס תוכנה בלבד שמאיץ דרמטית הרצת LLMs על GPUs סטנדרטיים במרכזי נתונים, מבלי להזדקק לשבבים ייעודיים . החברה יצאה מחשאיות במאי 2025 והשיקה תצוגה מקדימה ציבורית ב-28 במאי 2026 .

תוכנה מול סיליקון: ההימור של Kog נגד חומרה ייעודית

Cerebras בונה שבבים ייעודיים בקנה מידה של פרוסת סיליקון שלמה. גם Groq ו-SambaNova הולכות בדרך דומה מבוססת חומרה. Kog מהמרת על הכיוון ההפוך: ביצועים אדירים שכלולים ב-GPUs קיימים נותרים על השולחן בגלל ערימות תוכנה לא יעילות, ואופטימיזציה עמוקה של תוכנה יכולה להשתוות או לעלות על מהירויות חומרה ייעודית ללא צורך בשבבים חדשים .

החידוש המרכזי הוא מונוקרנל — תוכנית GPU קבועה ויחידה שרצה את כל מקטע הפענוח של ה-LLM (prefill, decode, דגימת LM-head) בבת אחת, ומונעת את תקורת ההשקה של קרנל חדש לכל טוקן שמאפיינת ערימות סטנדרטיות . מסגרות inference סטנדרטיות כמו vLLM, SGLang ו-TensorRT-LLM משגרות קרנל GPU נפרד לכל טוקן, כשכל אחת משלמת כ-4.5 מיקרו-שניות תקורת השקה בתוספת השהיית אתחול HBM . המנוע של קוג עוקף ספריות תקשורת סטנדרטיות ומבטל סנכרוני רשת שהוא מדד כ-35% מזמן יצירת כל טוקן .

הטענה ל"פי 30 מהיר יותר" מכוילת מול קצבי פענוח אופייניים של 100–300 טוקנים/שנייה למודלים של 2B–8B על GPUs מתקדמים, לעומת 3,000 הטוקנים/שנייה של Kog .

תוצאות התצוגה המקדימה ומגבלות ברורות

תוצאות:

• 3,000+ טוקני פלט לשנייה לבקשה על צומת יחיד של 8× AMD MI300X עם מודל Laneformer 2B (FP16, batch size 1, ללא פענוח ספקולטיבי)
• 2,100 טוקני פלט/שנייה לבקשה על 8× NVIDIA H200 באותם תנאים
• זמן השהיה למשתמש בודד נמוך מספיק לשימוש אינטראקטיבי בזמן אמת — הדמו עלה לאוויר בכתובת playground.kog.ai
• מודל Laneformer 2B השיג 45.1% ב-HumanEval+ ו-51.6% ב-MBPP+ בפענוח חמדן

מגבלות:

• התצוגה המקדימה רצה רק על מודל של 2.3 מיליארד פרמטרים (Laneformer 2B). מודלים גדולים יותר לא הודגמו
• היא הייתה בקשה בודדת, משתמש בודד — לא מערך ייצור מרובה משתמשים עם אצווה, ולא הציגה תפוקה תחת עומס מקביל
• רק שני סוגי GPU נתמכו: AMD MI300X ו-NVIDIA H200
• עם 11 עובדים בלבד, החברה קטנה מאוד ביחס להיקף השאיפה שלה

מקרי שימוש יעד ומומנטום עסקי מוקדם

Kog מכוונת לשלושה תרחישים עיקריים:

• עבודות AI אוטונומיות (Agentic AI) — החברה טוענת ש-GPUs אינם מותאמים לדרישות האיטרטיביות והשהייה הנמוכה של סוכני AI, ושהמנוע שלה מתקן זאת
• Inference LLM בזמן אמת — coding copilots, צ'אטבוטים ויישומים שבהם זמן השהיה מתחת ל-100 מילישניות לטוקן קריטי
• Inference ארגוני עצמאי — חברות שכבר מחזיקות GPUs במרכזי נתונים ורוצות להימנע מרכישת חומרת inference ייעודית

בצד העסקי, Kog דיווחה על 200+ לידים עסקיים מוחשיים נכון לאוגוסט 2026, לפי המנכ"ל דלאלו . התצוגה המקדימה עלתה לעמוד הראשי של Hacker News במאי 2026 . החברה גייסה סבב סיד בהובלה משותפת של Varsity VC, כשהשותף כמאל זרואל היה שותף מייסד של דלאלו בסטארטאפ הראשון שלו, Stribe .

למה פיזיקאי מצב מוצק שהפך להאקר מנהל את החברה הזו

המנכ"ל גאל דלאלו מביא רקע יוצא דופן לתשתיות AI: פיזיקת מצב מוצק ואבטחת סייבר התקפית .

• פיזיקת מצב מוצק אימנה אותו לנמק מעקרונות ראשונים על האופן שבו חומרה פיזית מתנהגת ברמה נמוכה — אלקטרונים, רוחב פס זיכרון, אילוצים ברמת הטרנזיסטור. הצוות שלו מתייחס לאופטימיזציית GPU כאל בעיה פיזיקלית, לא כבעיית הנדסת תוכנה
• אבטחת סייבר התקפית העניקה לו מנטליות של הנדסה לאחור עוינת. מנוע Kog בוחן GPUs ברמת assembly ובינארית, ומוצא מרווחי ראש נסתרים שנהגים וספריות סטנדרטיים אינם חושפים — "חשיבה תוקפנית" קלאסית מיושמת על ביצועי חומרה
• דלאלו אינו חוקר ML מסורתי; הסטארטאפ הראשון שלו (Stribe, בוגרת TechCrunch50 2009) לא היה קשור ל-AI. הוא מתאר עצמו כהוגה מעקרונות ראשונים שמתכנן אלגוריתמים מלמטה למעלה, מהחומרה

אתגרי קנה מידה: גודל צוות, תמיכה בשבבים ומודלים גדולים

Kog ניצבת בפני שלושה מכשולי קנה מידה משמעותיים:

• גודל צוות: עם 11 עובדים בלבד, העתקת המונוקרנל הכרוכה באופטימיזציה ידנית עמוקה לארכיטקטורות GPU חדשות היא עבודה עתירת עבודה
• תמיכה בשבבים חדשים: המנוע תומך כרגע רק ב-AMD MI300X וב-NVIDIA H200. כל GPU חדש דורש הנדסה לאחור ידנית ברמת assembly. המנכ"ל דלאלו מודה שזהו צוואר בקבוק, אף שהוא מצפה שארכיטקטורות GPU חדשות עם רוחב פס זיכרון גבוה יותר יהיו יעדים קלים יותר
• קנה מידה של מודל: מעבר ממודלים של 2B פרמטרים ל-LLMs בקנה מידה מלא (70B+) מייצג, לדברי דלאלו, "קפיצה ענקית." הטכניקות שעובדות עבור מודל קטן עשויות שלא להתרחב באופן טריוויאלי לטביעות זיכרון וחישוב גדולות בהרבה

אבן הדרך המכרעת: מודלי שפה גדולים

אבן הדרך הקריטית הבאה של Kog היא הוכחת הגישה על LLMs גדולים (70B+ פרמטרים). המנכ"ל דלאלו הצהיר שהחברה ממוקדת כעת בהרחבת הטכניקות שלה ל-LLMs בקנה מידה מלא. הביטחון נובע מארכיטקטורות GPU חדשות עם רוחב פס זיכרון גבוה משמעותית — משאב שלדעת Kog נותר מנוצל בצורה לא מספקת על ידי ערימות תוכנה סטנדרטיות . החברה לא הכריזה על תאריך ספציפי, אך הדגמה זו נתפסת כהוכחת ההיתכנות המכרעת עבור כל התזה.