Kog проти стелі GPU: як програмне забезпечення саме по собі може прискорити LLM у 30 разів
Kog досягає 3000 вихідних токенів/с на один запит на вузлі 8× AMD MI300X, використовуючи виключно програмний рушій — без спеціалізованого обладнання, квантування та спекулятивної декодинги, завдяки спільному проєктува... Ключова інновація — Delayed Tensor Parallelism (DTP) — затримує між GPU all reduce на 2 шари, пе...
ОпублікувавВідредаговано за допомогою DeepSeek-V4-FlashЗображення створено за допомогою GPT Image 1.5
Kog досягає 3000 вихідних токенів/с на один запит на вузлі 8× AMD MI300X, використовуючи виключно програмний рушій — без спеціалізованого обладнання, квантування та спекулятивної декодинги, завдяки спільному проєктува...
Ключова інновація — Delayed Tensor Parallelism (DTP) — затримує між GPU all reduce на 2 шари, перекриваючи комунікацію з обчисленнями та усуваючи простої, характерні для стандартного тензорного паралелізму.
Kog ще не продемонстрував повну заяву про 30 кратне прискорення на масштабних моделях (найкраща демонстрація — на 2B моделі); наступним критичним доказом стане 10 кратне прискорення на великій промисловій моделі.
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog — це французький стартап, який стверджує, що може досягти до 30-кратного прискорення LLM-інференсу на звичайних датацентрових GPU завдяки глибокому, програмно-орієнтованому стеку оптимізації. Підхід компанії полягає у спільному проєктуванні власної архітектури моделі (Laneformer), одноядерного рушія інференсу (KIE) та власного комунікаційного шару (KCCL) для усунення всіх джерел простою в циклі декодингу.
Замість створення спеціалізованих ASIC або придбання екзотичного обладнання, Kog розглядає три рівні як єдину спроєктовану систему:
Моноядро (один стійкий CUDA-кернел): Весь прохід декодингу LLM виконується як один стійкий кернел без запуску нових кернелів або переривань між шарами, що повністю усуває накладні витрати на запуск GPU.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Kog проти стелі GPU: як програмне забезпечення саме по собі може прискорити LLM у 30 разів"?
Kog досягає 3000 вихідних токенів/с на один запит на вузлі 8× AMD MI300X, використовуючи виключно програмний рушій — без спеціалізованого обладнання, квантування та спекулятивної декодинги, завдяки спільному проєктува...
What are the key points to validate first?
Kog досягає 3000 вихідних токенів/с на один запит на вузлі 8× AMD MI300X, використовуючи виключно програмний рушій — без спеціалізованого обладнання, квантування та спекулятивної декодинги, завдяки спільному проєктува... Ключова інновація — Delayed Tensor Parallelism (DTP) — затримує між GPU all reduce на 2 шари, перекриваючи комунікацію з обчисленнями та усуваючи простої, характерні для стандартного тензорного паралелізму.
What should I do next in practice?
Kog ще не продемонстрував повну заяву про 30 кратне прискорення на масштабних моделях (найкраща демонстрація — на 2B моделі); наступним критичним доказом стане 10 кратне прискорення на великій промисловій моделі.
Kog проти стелі GPU: як програмне забезпечення саме по собі може прискорити LLM у 30 разів
Kog досягає 3000 вихідних токенів/с на один запит на вузлі 8× AMD MI300X, використовуючи виключно програмний рушій — без спеціалізованого обладнання, квантування та спекулятивної декодинги, завдяки спільному проєктува... Ключова інновація — Delayed Tensor Parallelism (DTP) — затримує між GPU all reduce на 2 шари, пе...
ОпублікувавВідредаговано за допомогою DeepSeek-V4-FlashЗображення створено за допомогою GPT Image 1.5
Kog досягає 3000 вихідних токенів/с на один запит на вузлі 8× AMD MI300X, використовуючи виключно програмний рушій — без спеціалізованого обладнання, квантування та спекулятивної декодинги, завдяки спільному проєктува...
Ключова інновація — Delayed Tensor Parallelism (DTP) — затримує між GPU all reduce на 2 шари, перекриваючи комунікацію з обчисленнями та усуваючи простої, характерні для стандартного тензорного паралелізму.
Kog ще не продемонстрував повну заяву про 30 кратне прискорення на масштабних моделях (найкраща демонстрація — на 2B моделі); наступним критичним доказом стане 10 кратне прискорення на великій промисловій моделі.
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog — це французький стартап, який стверджує, що може досягти до 30-кратного прискорення LLM-інференсу на звичайних датацентрових GPU завдяки глибокому, програмно-орієнтованому стеку оптимізації. Підхід компанії полягає у спільному проєктуванні власної архітектури моделі (Laneformer), одноядерного рушія інференсу (KIE) та власного комунікаційного шару (KCCL) для усунення всіх джерел простою в циклі декодингу.
Замість створення спеціалізованих ASIC або придбання екзотичного обладнання, Kog розглядає три рівні як єдину спроєктовану систему:
Моноядро (один стійкий CUDA-кернел): Весь прохід декодингу LLM виконується як один стійкий кернел без запуску нових кернелів або переривань між шарами, що повністю усуває накладні витрати на запуск GPU.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Kog проти стелі GPU: як програмне забезпечення саме по собі може прискорити LLM у 30 разів"?
Kog досягає 3000 вихідних токенів/с на один запит на вузлі 8× AMD MI300X, використовуючи виключно програмний рушій — без спеціалізованого обладнання, квантування та спекулятивної декодинги, завдяки спільному проєктува...
What are the key points to validate first?
Kog досягає 3000 вихідних токенів/с на один запит на вузлі 8× AMD MI300X, використовуючи виключно програмний рушій — без спеціалізованого обладнання, квантування та спекулятивної декодинги, завдяки спільному проєктува... Ключова інновація — Delayed Tensor Parallelism (DTP) — затримує між GPU all reduce на 2 шари, перекриваючи комунікацію з обчисленнями та усуваючи простої, характерні для стандартного тензорного паралелізму.
What should I do next in practice?
Kog ще не продемонстрував повну заяву про 30 кратне прискорення на масштабних моделях (найкраща демонстрація — на 2B моделі); наступним критичним доказом стане 10 кратне прискорення на великій промисловій моделі.
Delayed Tensor Parallelism (DTP): Стандартний тензорний паралелізм блокується на all-reduce на кожному шарі. Kog затримує кожен all-reduce на δ=2 шари, перекриваючи комунікацію з обчисленнями та потоковим завантаженням ваг, так що GPU ніколи не простоюють в очікуванні даних.
Архітектура Laneformer: Laneformer ділить модель на 8 паралельних "ліній", які узгоджуються з графіком комунікації DTP, дозволяючи рушію ідеально приховувати накладні витрати тензорного паралелізму.
Власний комунікаційний шар (KCCL): Замінює стандартні NCCL/RCCL для досягнення нижчої затримки та лінійно масштабованого тензорного паралелізму між GPU.
Оптимізація на рівні асемблера: Kog працює на рівні C++/асемблера, а не накладає tweaks на CUDA або ROCm, націлюючись на кожен цикл пропускної здатності пам'яті GPU та використання обчислювальних ресурсів.
Laneformer 2B: Продемонстровані результати
Kog відкрив вихідний код Laneformer 2B (2.3 млрд параметрів) — інструкційно налаштованої моделі для кодування, призначеної для швидкості декодингу, а не для найвищих показників бенчмарків. Ці швидкості приблизно в 10 разів перевищують типову пропускну здатність vLLM для моделі такого розміру.
Метрика
Результат
Швидкість декодингу на 8× AMD MI300X
3000 вихідних токенів/с на запит (FP16, розмір пакета 1)
Швидкість декодингу на 8× NVIDIA H200
2100 вихідних токенів/с на запит (FP16, розмір пакета 1)
HumanEval+ (жадібний)
45.1%
MBPP+ (жадібний)
51.6%
Метод
Без квантування, без спекулятивної декодингу, без прунінгу
Наступні етапи масштабування
Публічний технічний попередній перегляд Kog працює на моделі 2B. Компанія зараз зосереджена на масштабуванні своїх технік:
Найближча ціль: Продемонструвати 10-кратне прискорення на великій промисловій моделі (наприклад, 70B+ dense або MoE). Компанія очікує досягти цього в найближчі місяці.
Довгострокова амбіція: Показати, що їхній підхід може забезпечити 30-кратне прискорення інференсу на великих передових MoE-моделях зі швидкістю, подібною до тієї, якої було досягнуто на Laneformer 2B. Kog публічно аргументував, що його техніки DTP та моноядра масштабуються сприятливо до архітектур MoE.
Після запуску в травні 2026 року Kog повідомляє про 200+ відчутних бізнес-лідів і повністю зосереджений на підтримці більших моделей для задоволення корпоративного попиту.
Порівняння з конкурентами
ZML — Також французький AI-стартап (схвалений Янном ЛеКуном), ZML обирає інший підхід: він випустив LLMD, безкоштовний рушій інференсу, який дозволяє багатьом моделям з відкритим кодом працювати на різноманітних чипах (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) за допомогою уніфікованого підходу на основі компілятора. ZML пріоритезує переносимість обладнання та підтримку різних чипів, а не екстремальну затримку одного запиту. Kog, навпаки, створений для максимального зменшення затримки на конкретних високопродуктивних датацентрових GPU (MI300X, H200) через глибоку, специфічну для обладнання оптимізацію.
Cerebras — Використовує принципово іншу стратегію, орієнтовану на обладнання: Wafer-Scale Engine (WSE-3), масивний одночип, який усуває необхідність багато-GPU комунікації. Cerebras досягає ~2100 токенів/с на Llama 3.1 70B (batch 1) на своєму обладнанні WSE-3 — примітно, що ця швидкість досягається для 70B моделі, а не 2B.
Параметр
Kog
Cerebras
Підхід
Програмний на звичайних GPU
Власне обладнання (wafer-scale)
Найкраща демонстрація
3000 токенів/с на 2B моделі
~2100 токенів/с на 70B моделі
Заява про затримку
Націлені на 30x на передових моделях
~4x проти H100 на 70B моделях
Вартість обладнання
Використовує існуючу GPU-інфраструктуру
Вимагає пропрієтарних систем CS-3
Зрілість
Рання стадія (технічний перегляд, лише 2B)
Продукційна готовність для кількох відкритих моделей
Ключове застереження: Результат Kog у 3000 токенів/с досягнуто на моделі 2.3B, що на порядок менше, ніж 70B моделі, які Cerebras обслуговує на порівнянних швидкостях. Kog ще має продемонструвати свою заяву про 30-кратне прискорення в масштабі. Наступний етап компанії (10x на великій промисловій моделі) стане критичним доказом.
Delayed Tensor Parallelism (DTP): Стандартний тензорний паралелізм блокується на all-reduce на кожному шарі. Kog затримує кожен all-reduce на δ=2 шари, перекриваючи комунікацію з обчисленнями та потоковим завантаженням ваг, так що GPU ніколи не простоюють в очікуванні даних.
Архітектура Laneformer: Laneformer ділить модель на 8 паралельних "ліній", які узгоджуються з графіком комунікації DTP, дозволяючи рушію ідеально приховувати накладні витрати тензорного паралелізму.
Власний комунікаційний шар (KCCL): Замінює стандартні NCCL/RCCL для досягнення нижчої затримки та лінійно масштабованого тензорного паралелізму між GPU.
Оптимізація на рівні асемблера: Kog працює на рівні C++/асемблера, а не накладає tweaks на CUDA або ROCm, націлюючись на кожен цикл пропускної здатності пам'яті GPU та використання обчислювальних ресурсів.
Laneformer 2B: Продемонстровані результати
Kog відкрив вихідний код Laneformer 2B (2.3 млрд параметрів) — інструкційно налаштованої моделі для кодування, призначеної для швидкості декодингу, а не для найвищих показників бенчмарків. Ці швидкості приблизно в 10 разів перевищують типову пропускну здатність vLLM для моделі такого розміру.
Метрика
Результат
Швидкість декодингу на 8× AMD MI300X
3000 вихідних токенів/с на запит (FP16, розмір пакета 1)
Швидкість декодингу на 8× NVIDIA H200
2100 вихідних токенів/с на запит (FP16, розмір пакета 1)
HumanEval+ (жадібний)
45.1%
MBPP+ (жадібний)
51.6%
Метод
Без квантування, без спекулятивної декодингу, без прунінгу
Наступні етапи масштабування
Публічний технічний попередній перегляд Kog працює на моделі 2B. Компанія зараз зосереджена на масштабуванні своїх технік:
Найближча ціль: Продемонструвати 10-кратне прискорення на великій промисловій моделі (наприклад, 70B+ dense або MoE). Компанія очікує досягти цього в найближчі місяці.
Довгострокова амбіція: Показати, що їхній підхід може забезпечити 30-кратне прискорення інференсу на великих передових MoE-моделях зі швидкістю, подібною до тієї, якої було досягнуто на Laneformer 2B. Kog публічно аргументував, що його техніки DTP та моноядра масштабуються сприятливо до архітектур MoE.
Після запуску в травні 2026 року Kog повідомляє про 200+ відчутних бізнес-лідів і повністю зосереджений на підтримці більших моделей для задоволення корпоративного попиту.
Порівняння з конкурентами
ZML — Також французький AI-стартап (схвалений Янном ЛеКуном), ZML обирає інший підхід: він випустив LLMD, безкоштовний рушій інференсу, який дозволяє багатьом моделям з відкритим кодом працювати на різноманітних чипах (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) за допомогою уніфікованого підходу на основі компілятора. ZML пріоритезує переносимість обладнання та підтримку різних чипів, а не екстремальну затримку одного запиту. Kog, навпаки, створений для максимального зменшення затримки на конкретних високопродуктивних датацентрових GPU (MI300X, H200) через глибоку, специфічну для обладнання оптимізацію.
Cerebras — Використовує принципово іншу стратегію, орієнтовану на обладнання: Wafer-Scale Engine (WSE-3), масивний одночип, який усуває необхідність багато-GPU комунікації. Cerebras досягає ~2100 токенів/с на Llama 3.1 70B (batch 1) на своєму обладнанні WSE-3 — примітно, що ця швидкість досягається для 70B моделі, а не 2B.
Параметр
Kog
Cerebras
Підхід
Програмний на звичайних GPU
Власне обладнання (wafer-scale)
Найкраща демонстрація
3000 токенів/с на 2B моделі
~2100 токенів/с на 70B моделі
Заява про затримку
Націлені на 30x на передових моделях
~4x проти H100 на 70B моделях
Вартість обладнання
Використовує існуючу GPU-інфраструктуру
Вимагає пропрієтарних систем CS-3
Зрілість
Рання стадія (технічний перегляд, лише 2B)
Продукційна готовність для кількох відкритих моделей
Ключове застереження: Результат Kog у 3000 токенів/с досягнуто на моделі 2.3B, що на порядок менше, ніж 70B моделі, які Cerebras обслуговує на порівнянних швидкостях. Kog ще має продемонструвати свою заяву про 30-кратне прискорення в масштабі. Наступний етап компанії (10x на великій промисловій моделі) стане критичним доказом.
