Kog проти стелі GPU: як програмне забезпечення саме по собі може прискорити LLM у 30 разів

Kog — це французький стартап, який стверджує, що може досягти до 30-кратного прискорення LLM-інференсу на звичайних датацентрових GPU завдяки глибокому, програмно-орієнтованому стеку оптимізації. Підхід компанії полягає у спільному проєктуванні власної архітектури моделі (Laneformer), одноядерного рушія інференсу (KIE) та власного комунікаційного шару (KCCL) для усунення всіх джерел простою в циклі декодингу.

Замість створення спеціалізованих ASIC або придбання екзотичного обладнання, Kog розглядає три рівні як єдину спроєктовану систему:

• Моноядро (один стійкий CUDA-кернел): Весь прохід декодингу LLM виконується як один стійкий кернел без запуску нових кернелів або переривань між шарами, що повністю усуває накладні витрати на запуск GPU.
• Delayed Tensor Parallelism (DTP): Стандартний тензорний паралелізм блокується на all-reduce на кожному шарі. Kog затримує кожен all-reduce на δ=2 шари, перекриваючи комунікацію з обчисленнями та потоковим завантаженням ваг, так що GPU ніколи не простоюють в очікуванні даних.
• Архітектура Laneformer: Laneformer ділить модель на 8 паралельних "ліній", які узгоджуються з графіком комунікації DTP, дозволяючи рушію ідеально приховувати накладні витрати тензорного паралелізму.
• Власний комунікаційний шар (KCCL): Замінює стандартні NCCL/RCCL для досягнення нижчої затримки та лінійно масштабованого тензорного паралелізму між GPU.
• Оптимізація на рівні асемблера: Kog працює на рівні C++/асемблера, а не накладає tweaks на CUDA або ROCm, націлюючись на кожен цикл пропускної здатності пам'яті GPU та використання обчислювальних ресурсів.

Laneformer 2B: Продемонстровані результати

Kog відкрив вихідний код Laneformer 2B (2.3 млрд параметрів) — інструкційно налаштованої моделі для кодування, призначеної для швидкості декодингу, а не для найвищих показників бенчмарків. Ці швидкості приблизно в 10 разів перевищують типову пропускну здатність vLLM для моделі такого розміру.

Метрика	Результат
Швидкість декодингу на 8× AMD MI300X	3000 вихідних токенів/с на запит (FP16, розмір пакета 1)
Швидкість декодингу на 8× NVIDIA H200	2100 вихідних токенів/с на запит (FP16, розмір пакета 1)
HumanEval+ (жадібний)	45.1%
MBPP+ (жадібний)	51.6%
Метод	Без квантування, без спекулятивної декодингу, без прунінгу

Наступні етапи масштабування

Публічний технічний попередній перегляд Kog працює на моделі 2B. Компанія зараз зосереджена на масштабуванні своїх технік:

• Найближча ціль: Продемонструвати 10-кратне прискорення на великій промисловій моделі (наприклад, 70B+ dense або MoE). Компанія очікує досягти цього в найближчі місяці.
• Довгострокова амбіція: Показати, що їхній підхід може забезпечити 30-кратне прискорення інференсу на великих передових MoE-моделях зі швидкістю, подібною до тієї, якої було досягнуто на Laneformer 2B. Kog публічно аргументував, що його техніки DTP та моноядра масштабуються сприятливо до архітектур MoE.
• Після запуску в травні 2026 року Kog повідомляє про 200+ відчутних бізнес-лідів і повністю зосереджений на підтримці більших моделей для задоволення корпоративного попиту.

Порівняння з конкурентами

ZML — Також французький AI-стартап (схвалений Янном ЛеКуном), ZML обирає інший підхід: він випустив LLMD, безкоштовний рушій інференсу, який дозволяє багатьом моделям з відкритим кодом працювати на різноманітних чипах (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) за допомогою уніфікованого підходу на основі компілятора. ZML пріоритезує переносимість обладнання та підтримку різних чипів, а не екстремальну затримку одного запиту. Kog, навпаки, створений для максимального зменшення затримки на конкретних високопродуктивних датацентрових GPU (MI300X, H200) через глибоку, специфічну для обладнання оптимізацію.

Cerebras — Використовує принципово іншу стратегію, орієнтовану на обладнання: Wafer-Scale Engine (WSE-3), масивний одночип, який усуває необхідність багато-GPU комунікації. Cerebras досягає ~2100 токенів/с на Llama 3.1 70B (batch 1) на своєму обладнанні WSE-3 — примітно, що ця швидкість досягається для 70B моделі, а не 2B.

Параметр	Kog	Cerebras
Підхід	Програмний на звичайних GPU	Власне обладнання (wafer-scale)
Найкраща демонстрація	3000 токенів/с на 2B моделі	~2100 токенів/с на 70B моделі
Заява про затримку	Націлені на 30x на передових моделях	~4x проти H100 на 70B моделях
Вартість обладнання	Використовує існуючу GPU-інфраструктуру	Вимагає пропрієтарних систем CS-3
Зрілість	Рання стадія (технічний перегляд, лише 2B)	Продукційна готовність для кількох відкритих моделей

Ключове застереження: Результат Kog у 3000 токенів/с досягнуто на моделі 2.3B, що на порядок менше, ніж 70B моделі, які Cerebras обслуговує на порівнянних швидкостях. Kog ще має продемонструвати свою заяву про 30-кратне прискорення в масштабі. Наступний етап компанії (10x на великій промисловій моделі) стане критичним доказом.