Французский стартап Kog разгоняет LLM до 3000 токенов/с на обычных серверных GPU — без нового «железа»

Ключевая инновация — монокерн (monokernel): единая постоянная программа, работающая на GPU, которая выполняет весь цикл декодинга LLM (prefill, decode, LM-head sampling) за один заход, устраняя накладные расходы на запуск ядер для каждого токена, которые преследуют стандартные стеки . Стандартные фреймворки инференса, такие как vLLM, SGLang и TensorRT-LLM, запускают одно ядро GPU на каждый токен, каждое с накладными расходами около 4,5 мкс плюс задержка перезапуска HBM . Движок Kog обходит стандартные библиотеки коммуникации и устраняет синхронизации сетки, которые, по его замерам, потребляли 35% времени генерации каждого токена .

Заявление о «30-кратном ускорении» калибруется относительно типичной скорости декодинга в 100–300 токенов/с для моделей 2B–8B на высокопроизводительных GPU, в сравнении с 3000 токенов/с у Kog .

Результаты технопревью и очевидные ограничения

Результаты:

• 3000+ выходных токенов в секунду на один запрос на одном узле 8× AMD MI300X с моделью Laneformer 2B (FP16, размер пакета 1, без спекулятивного декодинга)
• 2100 выходных токенов/с на один запрос на 8× NVIDIA H200 в тех же условиях
• Задержка для одного пользователя достаточно низка для интерактивного использования в реальном времени — демо было доступно на playground.kog.ai
• Модель Laneformer 2B показала 45,1% HumanEval+ и 51,6% MBPP+ в жадном декодинге

Ограничения:

• Превью работало только на модели с 2,3 млрд параметров (Laneformer 2B). На более крупных моделях демонстраций не было
• Это был однозапросный, однопользовательский режим — не пакетная многопользовательская производственная настройка, и пропускная способность под параллельной нагрузкой не демонстрировалась
• Поддерживались только два типа GPU: AMD MI300X и NVIDIA H200
• При 11 сотрудниках компания очень мала для масштаба своих амбиций

Целевые сценарии и первые бизнес-успехи

Kog нацеливается на три основных сценария:

• Агентные AI-сценарии (Agentic AI) — компания утверждает, что GPU плохо подходят для итеративных запросов AI-агентов с низкой задержкой, и её движок решает эту проблему
• Инференс LLM в реальном времени — coding copilots, чат-боты и приложения, где важна задержка менее 100 мс на токен
• Корпоративный инференс на собственном оборудовании — компании, которые уже владеют датацентровыми GPU и хотят избежать покупки специализированного «железа» для инференса

В бизнес-плане Kog сообщил о 200+ реальных бизнес-лидах по состоянию на август 2026 года, по словам CEO Деллало . Технопревью попало на главную страницу Hacker News в мае 2026 года . Компания привлекла начальный раунд финансирования, со-лидом которого выступил Varsity VC, партнёр которого Камель Зеруаль был сооснователем Деллало в его первом стартапе Stribe .

Почему физик-твёрдотельщик и хакер управляет этой компанией

CEO Гаэль Деллало привносит в AI-инфраструктуру необычный бэкграунд: физика твёрдого тела и наступательная кибербезопасность .

• Физика твёрдого тела научила его мыслить от первых принципов о том, как физическое «железо» ведёт себя на низком уровне — электроны, пропускная способность памяти, ограничения на уровне транзисторов. Его команда рассматривает оптимизацию GPU как физическую задачу, а не как задачу программной инженерии
• Наступательная кибербезопасность дала ему менталитет adversarial reverse-engineering. Движок Kog изучает GPU на уровне ассемблера и бинарного кода, находя скрытый запас производительности, который не раскрывают стандартные драйверы и библиотеки — классическое «мышление атакующего», применённое к производительности «железа»
• Деллало не является традиционным ML-исследователем; его первый стартап (Stribe, участник TechCrunch50 2009 года) не был связан с AI. Он описывает себя как мыслителя от первых принципов, который проектирует алгоритмы и структуры, начиная с «железа»

Проблемы масштабирования: размер команды, поддержка новых чипов и масштаб моделей

Kog сталкивается с тремя серьёзными препятствиями в масштабировании:

• Размер команды: Всего 11 сотрудников, так что портирование глубоко оптимизированного монокерна на новые архитектуры GPU требует больших трудозатрат
• Поддержка новых чипов: В настоящее время движок поддерживает только AMD MI300X и NVIDIA H200. Каждый новый GPU требует ручного reverse-engineering на уровне ассемблера. CEO Деллало признаёт это узким местом, хотя ожидает, что более новые архитектуры GPU с более высокой пропускной способностью памяти будут более лёгкими целями
• Масштаб моделей: Переход от моделей с 2 млрд параметров к полномасштабным LLM (70B+) представляет собой, по словам Деллало, «огромный скачок». Техники, которые работают для маленькой модели, могут не тривиально распространяться на гораздо большие объёмы памяти и вычислительные затраты

Решающий рубеж: большие языковые модели

Следующий критический рубеж для Kog — доказать, что его подход работает на больших языковых моделях (70B+ параметров). CEO Деллало заявил, что компания сейчас сосредоточена на масштабировании своих техник до полномасштабных LLM. Уверенность основана на том, что более новые архитектуры GPU имеют существенно более высокую пропускную способность памяти — ресурс, который, по мнению Kog, остаётся фундаментально недоиспользованным стандартными программными стеками . Компания не объявила конкретную дату, но эта демонстрация широко рассматривается как решающее «или пан, или пропал» доказательство всей концепции.