Паризький стартап Kog розганяє LLM-інференцію до 3 000 токенів/с на звичайних GPU — лише за допомогою програмного забезпечення

Індустрія штучного інтелекту витратила мільярди доларів на розробку швидших чипів. Паризький стартап Kog AI робить ставку на те, що ці гроші були витрачені на вирішення неправильної проблеми — і його технічне попередження від травня 2026 року свідчить, що ця ставка може бути правильною.

Kog — це французький стартап у сфері AI-інфраструктури, заснований 2023 року Гаелем Делалло. Його основний продукт — Kog Inference Engine (KIE) — це програмний рушій, який кардинально прискорює інференцію LLM (великих мовних моделей) на стандартних датацентрових GPU без необхідності в спеціалізованому кремнії . Компанія вийшла з режиму секретності у травні 2025 року 28 травня 2026 року запустила публічне технічне попередження .

Програмне забезпечення проти кремнію: ставка Kog на відмову від спеціалізованого обладнання

Cerebras будує спеціалізовані чипи на цілих пластинах. Groq та SambaNova рухаються подібним шляхом, насамперед апаратним. Kog робить протилежну ставку: величезний потенціал продуктивності в існуючих GPU не використовується через неефективні програмні стеки, і глибока програмна оптимізація може досягти або перевершити швидкість спеціалізованого апаратного забезпечення без жодних нових чипів .

Ключова інновація — це монокернел: єдина постійна програма, яка виконується на GPU та запускає весь цикл декодування LLM (prefill, decode, LM-head sampling) за один раз, повністю усуваючи накладні витрати на запуск окремих кернелів для кожного токена, що є проблемою для стандартних стеків . Стандартні фреймворки інференції, такі як vLLM, SGLang і TensorRT-LLM, запускають один кернел GPU на кожен токен, і кожен такий запуск коштує приблизно 4,5 мкс накладних витрат плюс затримка на перезапуск HBM . Рушій Kog обходить стандартні комунікаційні бібліотеки та усуває сіткові синхронізації, на які, за його вимірами, припадало 35% часу генерації кожного токена .

Заява про «30-кратне прискорення» базується на порівнянні з типовою швидкістю декодування 100–300 токенів/с для моделей розміром 2B–8B на високопродуктивних GPU, тоді як Kog показує 3 000 токенів/с .

Результати технічного попередження та чіткі обмеження

Результати:

• 3 000+ вихідних токенів на секунду на один запит на одному вузлі 8× AMD MI300X з моделлю Laneformer 2B (FP16, розмір пакета 1, без спекулятивного декодування)
• 2 100 вихідних токенів/с на один запит на 8× NVIDIA H200 за тих самих умов
• Затримка для одного користувача достатньо низька для інтерактивного використання в реальному часі — демо було доступне на playground.kog.ai
• Модель Laneformer 2B досягла 45,1% HumanEval+ та 51,6% MBPP+ при жадібному декодуванні

Обмеження:

• Попередження працювало лише з моделлю на 2,3 млрд параметрів (Laneformer 2B). Великі моделі не демонструвалися
• Це був один запит для одного користувача — не пакетне багатокористувацьке налаштування для виробничого середовища; пропускна здатність при одночасному навантаженні не показувалася
• Підтримувалися лише два типи GPU: AMD MI300X та NVIDIA H200
• Компанія налічує лише 11 співробітників, що дуже мало для такого масштабу амбіцій

Цільові сценарії використання та перші комерційні успіхи

Kog націлюється на три основні сценарії:

• Робочі процеси AI-агентів — компанія стверджує, що GPU погано підходять для ітеративних запитів AI-агентів, які вимагають низької затримки, і що її рушій виправляє це
• Інференція LLM у реальному часі — помічники для кодування, чат-боти та застосунки, де важлива затримка менше 100 мс на токен
• Корпоративна інференція на власному обладнанні — компанії, які вже мають датацентрові GPU та хочуть уникнути купівлі спеціалізованого обладнання

На бізнес-фронті Kog повідомив про 200+ реальних комерційних ліди станом на серпень 2026 року, за словами CEO Делалло . Технічне попередження потрапило на головну сторінку Hacker News у травні 2026 року . Компанія залучила початкове фінансування, співкерівником якого виступив Varsity VC, чий партнер Камель Зеруаль був співзасновником першого стартапу Делалло, Stribe .

Чому фізик твердого тіла, який став хакером, керує цією компанією

CEO Гаель Делалло має незвичайний досвід для AI-інфраструктури: фізика твердого тіла та наступальна кібербезпека .

• Фізика твердого тіла навчила його мислити з перших принципів про те, як фізичне обладнання поводиться на низькому рівні — електрони, пропускна здатність пам'яті, обмеження на рівні транзисторів. Його команда розглядає оптимізацію GPU як фізичну проблему, а не як завдання програмної інженерії
• Наступальна кібербезпека дала йому менталітет супротивного зворотного проектування. Рушій Kog досліджує GPU на рівні асемблера та бінарного коду, знаходячи прихований потенціал, який не використовують стандартні драйвери та бібліотеки — класичне «мислення атакуючого», застосоване до продуктивності обладнання
• Делалло не є традиційним ML-дослідником; його перший стартап (Stribe, учасник TechCrunch50 2009 року) не був пов'язаний з AI. Він описує себе як мислителя з перших принципів, який розробляє алгоритми, починаючи з рівня апаратного забезпечення

Виклики масштабування: розмір команди, підтримка чипів та масштаб моделей

Kog стикається з трьома значними перешкодами для масштабування:

• Розмір команди: маючи лише 11 співробітників, перенесення глибоко оптимізованого монокернела на нові архітектури GPU є трудомістким завданням
• Підтримка нових чипів: рушій наразі підтримує лише AMD MI300X та NVIDIA H200. Кожен новий GPU вимагає ручного зворотного проектування на рівні асемблера. CEO Делалло визнає, що це вузьке місце, хоча він очікує, що новіші архітектури GPU з вищою пропускною здатністю пам'яті будуть легшими цілями
• Масштаб моделей: перехід від моделей на 2B параметрів до повноцінних LLM (70B+) є тим, що Делалло називає «величезним стрибком». Техніки, які працюють для маленької моделі, можуть не так просто поширюватися на набагато більші обсяги пам'яті та обчислювальної потужності

Вирішальний етап: великі мовні моделі

Наступний критичний рубіж для Kog — довести, що його підхід працює на великих мовних моделях (70B+ параметрів). CEO Делалло заявив, що компанія зараз зосереджена на масштабуванні своїх технік до повноцінних LLM. Впевненість базується на новіших архітектурах GPU із значно вищою пропускною здатністю пам'яті — ресурсом, який, на думку Kog, залишається принципово недовикористаним стандартними програмними стеками . Компанія не оголосила конкретну дату, але ця демонстрація широко вважається вирішальним доказом для всієї їхньої тези.