קוג מול תקרת ה-GPU: איך תוכנה לבדה יכולה לספק האצת LLM של פי 30

Kog הוא סטארט-אפ צרפתי הטוען שהוא יכול להגיע למהירות הסקת LLM (Large Language Model) מהירה עד פי 30 על גבי GPUs סטנדרטיים במרכזי נתונים. זאת, באמצעות מחסנית אופטימיזציה תוכנתית מעמיקה הכוללת תכנון משותף של ארכיטקטורת מודל מותאמת אישית (Laneformer), מנוע הסקה מבוסס קרנל יחיד (KIE), ושכבת תקשורת מותאמת אישית (KCCL), במטרה לבטל כל גורם עיכוב בלולאת הפענוח (decode loop).

במקום לבנות ASICs מותאמים אישית או לרכוש חומרה אקזוטית, Kog מתייחסת לשלוש שכבות כאל מערכת אחת שתוכננה במשותף:

• Monokernel (קרנל CUDA יחיד ומתמשך): כל תהליך הפענוח (decode pass) של ה-LLM רץ כקרנל יחיד ומתמשך, ללא השקות קרנל או הפרעות בין שכבות. כך, עומס ההשקה (launch overhead) של ה-GPU מבוטל לחלוטין.
• Delayed Tensor Parallelism (DTP): ב-Tensor Parallelism הסטנדרטי, יש עיכוב בכל שכבה בגלל פעולת all-reduce. Kog דוחה כל all-reduce ב-δ=2 שכבות, ובכך חופפת את התקשורת עם החישוב, כך שה-GPUs לעולם אינם ממתינים לנתונים.
• ארכיטקטורת Laneformer (Lane-structured Transformer): ארכיטקטורה זו מחלקת את המודל ל-8 "נתיבים" (lanes) מקבילים, המיושרים עם לוח הזמנים של DTP. זה מאפשר למנוע להסתיר באופן מושלם את תקורת ה-Tensor Parallelism.
• שכבת תקשורת מותאמת אישית (KCCL): מחליפה את NCCL/RCCL הסטנדרטיים להשגת Tensor Parallelism עם השהיה נמוכה יותר וסקיילינג ליניארי בין GPUs.
• אופטימיזציה ברמת Assembly: Kog עובדת ברמת C++/Assembly ולא מצטברת של שיפורים על CUDA או ROCm, וכך מכוונת לכל מחזור של רוחב פס זיכרון GPU וניצול חישוב.

Laneformer 2B: תוצאות מוכחות

Kog פרסמה כקוד פתוח את Laneformer 2B (2.3 מיליארד פרמטרים), מודל קידוד מכוון-הוראות (instruction-tuned), אשר תוכנן למהירות פענוח על פני ציון Benchmark גולמי. מהירויות אלו מהירות בערך פי 10 מתפוקת vLLM האופיינית למודל בגודל זה.

מדד	תוצאה
מהירות פענוח על 8× AMD MI300X	3,000 אסימוני פלט/שנייה לבקשה (FP16, batch size 1)
מהירות פענוח על 8× NVIDIA H200	2,100 אסימוני פלט/שנייה לבקשה (FP16, batch size 1)
HumanEval+ (greedy)	45.1%
MBPP+ (greedy)	51.6%
שיטה	ללא קוונטיזציה, ללא פענוח ספקולטיבי, ללא גיזום

אבני הדרך הבאות לסקיילינג

ה-tech preview הציבורי של Kog פועל על מודל 2B. החברה נמצאת כעת במירוץ לסקל את הטכניקות שלה:

• יעד לטווח הקרוב: להדגים שיפור מהירות של פי 10 על מודל תעשייתי בקנה מידה גדול (למשל, 70B+ dense או MoE). החברה מצפה להשיג זאת בחודשים הקרובים.
• שאיפה לטווח ארוך: להראות שהגישה שלה יכולה לספק מהירות הסקה מהירה פי 30 על מודלי MoE (Mixture of Experts) גדולים במהירויות דומות לאלו שהושגו ב- Laneformer 2B. Kog טוענת בפומבי שהטכניקות DTP ו-Monokernel שלה מתרחבות היטב לארכיטקטורות MoE.
• מאז ההשקה במאי 2026, Kog מדווחת על 200+ לידים עסקיים מוחשיים והיא ממוקדת במלואה בתמיכה במודלים גדולים יותר כדי לעמוד בביקוש הארגוני.

השוואה למתחרים

ZML — גם היא סטארט-אפ צרפתי בתחום ה-AI (בחסות Yann LeCun), ZML נוקטת גישה שונה: היא פרסמה את LLMD, מנוע הסקה חינמי המאפשר למודלי קוד פתוח רבים לרוץ על מגוון רחב של שבבים (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) באמצעות גישה מבוססת קומפיילר אחידה. ZML נותנת עדיפות לניידות חומרה ותמיכה בריבוי שבבים במקום להשהיית בקשה בודדת קיצונית. Kog, לעומת זאת, בנויה במיוחד להפחתת השהיה מקסימלית על GPUs ספציפיים ברמה גבוהה (MI300X, H200) באמצעות אופטימיזציה תוכנתית עמוקה ומותאמת חומרה.

Cerebras — משתמשת באסטרטגיה שהיא מהותית מבוססת-חומרה: ה-Wafer-Scale Engine (WSE-3), שבב ענק יחיד המבטל את הצורך בתקשורת מרובת GPUs. Cerebras משיגה ~2,100 אסימונים/שנייה על Llama 3.1 70B (batch 1) על חומרת WSE-3 שלה — חשוב לציין, מהירות זו היא עבור מודל 70B, לא מודל 2B.

ממד	Kog	Cerebras
גישה	תוכנה בלבד על GPUs סטנדרטיים	חומרה מותאמת אישית (wafer-scale)
הדגמה הטובה ביותר	3,000 אסימונים/שנייה על מודל 2B	~2,100 אסימונים/שנייה על מודל 70B
טענת השהיה	מכוונת לפי 30 על מודלים מתקדמים	~פי 4 לעומת H100 על מודלי 70B
עלות חומרה	משתמש בתשתית GPU קיימת	דורש מערכות CS-3 קנייניות
בשלות	שלב מוקדם (tech preview, 2B בלבד)	ברמת ייצור עבור מספר דגמי קוד פתוח

הערה חשובה: תוצאת 3,000 האסימונים/שנייה של Kog היא על מודל 2.3B — בסדר גודל קטן יותר ממודלי 70B ש-Cerebras משרתת במהירויות דומות. Kog עדיין לא הציגה את הטענה שלה ל-30x בקנה מידה. אבן הדרך הבאה של החברה (פי 10 על מודל תעשייתי גדול) תהווה נקודת הוכחה קריטית.