Скорость без кастомного «железа»: как французский стартап Kog ускоряет LLM-инференс до 30 раз на существующих GPU

Французский стартап Kog утверждает, что может добиться ускорения инференса больших языковых моделей (LLM) до 30 раз на существующих датацентровых GPU — и всё это исключительно за счёт глубокой оптимизации программного стека. Вместо создания собственных ASIC или покупки экзотического «железа» компания спроектировала кастомную архитектуру модели (Laneformer), однокристальный инференс-движок (KIE) и собственный коммуникационный слой (KCCL), чтобы устранить каждую точку простоя в цикле декодирования.

В основе подхода — проектирование трёх уровней как единой системы:

• Моноядро (Monokernel) — весь проход декодирования LLM выполняется как один постоянный kernel без перезапусков между слоями, что полностью устраняет накладные расходы на запуск ядер CUDA.
• Отложенный тензорный параллелизм (Delayed Tensor Parallelism, DTP) — стандартный тензорный параллелизм блокируется на all-reduce на каждом слое. Kog откладывает all-reduce на δ=2 слоя, накладывая коммуникацию на вычисления и потоковую загрузку весов: GPU не простаивают в ожидании данных.
• Архитектура Laneformer — модель делится на 8 параллельных «полос» (lanes), синхронизированных с графиком DTP, что позволяет движку идеально скрывать накладные расходы тензорного параллелизма.
• Кастомный коммуникационный слой (KCCL) — заменяет стандартные NCCL/RCCL, обеспечивая более низкую задержку и линейное масштабирование тензорного параллелизма между GPU.
• Оптимизация на уровне ассемблера — Kog работает на уровне C++/ассемблера, а не «навешивает» tweaks поверх CUDA или ROCm, используя каждый цикл пропускной способности памяти и вычислительных ресурсов GPU.

Laneformer 2B: подтверждённые результаты

Kog опубликовал в открытом доступе модель Laneformer 2B (2,3 млрд параметров) — настроенную для задач кодирования, оптимизированную для скорости декодирования, а не для абсолютных бенчмарков. Эти скорости примерно в 10 раз выше, чем типичная пропускная способность vLLM для модели такого размера.

Показатель	Результат
Скорость декодирования на 8× AMD MI300X	3 000 выходных токенов/с на один запрос (FP16, batch size 1)
Скорость декодирования на 8× NVIDIA H200	2 100 выходных токенов/с на один запрос (FP16, batch size 1)
HumanEval+ (greedy)	45,1%
MBPP+ (greedy)	51,6%
Метод	Без квантования, без спекулятивного декодирования, без прунинга

Следующие шаги: масштабирование

Публичный техпревью Kog пока работает на 2B-модели. Компания спешит масштабировать свои методы:

• Ближайшая цель: продемонстрировать 10-кратное ускорение на крупной отраслевой модели (например, 70B+ dense или MoE). Компания рассчитывает достичь этого в ближайшие месяцы.
• Долгосрочная амбиция: показать, что подход может обеспечить 30-кратное ускорение на больших моделях MoE — на скоростях, аналогичных достигнутым на Laneformer 2B. Kog публично заявляет, что его методы DTP и моноядра масштабируются на архитектуру MoE.
• После запуска в мае 2026 года Kog, по собственным данным, получил более 200 ощутимых бизнес-лидов и полностью сосредоточен на поддержке более крупных моделей в ответ на корпоративный спрос.

Сравнение с конкурентами

ZML — ещё один французский AI-стартап (поддержанный Яном ЛеКуном). ZML выбрал иной путь: он выпустил LLMD — бесплатный движок для инференса, позволяющий запускать множество открытых моделей на самых разных чипах (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) с помощью единого компиляторного подхода. ZML делает ставку на аппаратную портативность и поддержку множества чипов, а не на экстремальную задержку одиночного запроса. Kog, напротив, создан для максимального снижения задержки на конкретных высокопроизводительных датацентровых GPU (MI300X, H200) через глубокую, аппаратно-зависимую оптимизацию.

Cerebras — использует принципиально иную, «железную» стратегию: Wafer-Scale Engine (WSE-3), огромный одиночный кристалл, устраняющий необходимость в меж-GPU-взаимодействии. Cerebras достигает ~2 100 токенов/с на Llama 3.1 70B (batch 1) на своём WSE-3 — примечательно, что эта скорость достигается для модели на 70B, а не на 2B.

Параметр	Kog	Cerebras
Подход	Только софт на стандартных GPU	Кастомное «железо» (wafer-scale)
Лучшая демонстрация	3 000 ток/с на 2B-модели	~2 100 ток/с на 70B-модели
Заявленное ускорение	Цель: 30x на frontier-моделях	~4x против H100 на 70B
Стоимость оборудования	Использует существующую GPU-инфраструктуру	Требует проприетарных систем CS-3
Зрелость	Ранняя стадия (техпревью, 2B только)	Продакшн-уровень для многих открытых моделей

Ключевое предостережение: результат Kog в 3 000 ток/с получен на модели с 2,3B параметров — на порядок меньше, чем 70B-модели, которые Cerebras обслуживает на сопоставимых скоростях. Kog ещё предстоит продемонстрировать своё 30-кратное ускорение в масштабе. Следующая веха компании (10x на крупной отраслевой модели) станет решающим доказательством.