AnswersPublished21 sources
קוג מול תקרת ה-GPU: איך תוכנה לבדה יכולה לספק האצת LLM של פי 30
Kog, סטארט אפ צרפתי, טוען שהשיג מהירות הסקה של 3,000 אסימונים בשנייה (tokens/s) על 8 כרטיסי AMD MI300X ו 2,100 אסימונים בשנייה על 8 כרטיסי NVIDIA H200, עבור מודל מותאם אישית בעל 2.3 מיליארד פרמטרים (Laneformer 2B), תו... הטכנולוגיה מבוססת על תכנון משותף של שלוש שכבות: ארכיטקטורת מודל ייחודית (Laneformer), מנוע הסקה...
פורסם על ידינערך באמצעות DeepSeek-V4-Flashהתמונות נוצרו באמצעות GPT Image 1.5
Research answer
Key takeaways
- Kog, סטארט אפ צרפתי, טוען שהשיג מהירות הסקה של 3,000 אסימונים בשנייה (tokens/s) על 8 כרטיסי AMD MI300X ו 2,100 אסימונים בשנייה על 8 כרטיסי NVIDIA H200, עבור מודל מותאם אישית בעל 2.3 מיליארד פרמטרים (Laneformer 2B), תו...
- הטכנולוגיה מבוססת על תכנון משותף של שלוש שכבות: ארכיטקטורת מודל ייחודית (Laneformer), מנוע הסקה מבוסס קרנל יחיד (KIE), ושכבת תקשורת מותאמת אישית (KCCL), במטרה לבטל כל עיכוב אפשרי בלולאת הפענוח (decode loop).
- החברה עדיין לא הוכיחה את טענתה העיקרית להאצה של פי 30 על מודלים גדולים (70B+), והאתגר המרכזי הבא שלה יהיה להדגים שיפור של פי 10 על מודל תעשייתי סטנדרטי.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
Kog הוא סטארט-אפ צרפתי הטוען שהוא יכול להגיע למהירות הסקת LLM (Large Language Model) מהירה עד פי 30 על גבי GPUs סטנדרטיים במרכזי נתונים. זאת, באמצעות מחסנית אופטימיזציה תוכנתית מעמיקה הכוללת תכנון משותף של ארכיטקטורת מודל מותאמת אישית (Laneformer), מנוע הסקה מבוסס קרנל יחיד (KIE), ושכבת תקשורת מותאמת אישית (KCCL), במטרה לבטל כל גורם עיכוב בלולאת הפענוח (decode loop).
במקום לבנות ASICs מותאמים אישית או לרכוש חומרה אקזוטית, Kog מתייחסת לשלוש שכבות כאל מערכת אחת שתוכננה במשותף:
- Monokernel (קרנל CUDA יחיד ומתמשך): כל תהליך הפענוח (decode pass) של ה-LLM רץ כקרנל יחיד ומתמשך, ללא השקות קרנל או הפרעות בין שכבות. כך, עומס ההשקה (launch overhead) של ה-GPU מבוטל לחלוטין.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "קוג מול תקרת ה-GPU: איך תוכנה לבדה יכולה לספק האצת LLM של פי 30"?
Kog, סטארט אפ צרפתי, טוען שהשיג מהירות הסקה של 3,000 אסימונים בשנייה (tokens/s) על 8 כרטיסי AMD MI300X ו 2,100 אסימונים בשנייה על 8 כרטיסי NVIDIA H200, עבור מודל מותאם אישית בעל 2.3 מיליארד פרמטרים (Laneformer 2B), תו...
What are the key points to validate first?
Kog, סטארט אפ צרפתי, טוען שהשיג מהירות הסקה של 3,000 אסימונים בשנייה (tokens/s) על 8 כרטיסי AMD MI300X ו 2,100 אסימונים בשנייה על 8 כרטיסי NVIDIA H200, עבור מודל מותאם אישית בעל 2.3 מיליארד פרמטרים (Laneformer 2B), תו... הטכנולוגיה מבוססת על תכנון משותף של שלוש שכבות: ארכיטקטורת מודל ייחודית (Laneformer), מנוע הסקה מבוסס קרנל יחיד (KIE), ושכבת תקשורת מותאמת אישית (KCCL), במטרה לבטל כל עיכוב אפשרי בלולאת הפענוח (decode loop).
What should I do next in practice?
החברה עדיין לא הוכיחה את טענתה העיקרית להאצה של פי 30 על מודלים גדולים (70B+), והאתגר המרכזי הבא שלה יהיה להדגים שיפור של פי 10 על מודל תעשייתי סטנדרטי.