Скорость без кастомного «железа»: как французский стартап Kog ускоряет LLM-инференс до 30 раз на существующих GPU
Kog добился 3 000 выходных токенов/с (8× AMD MI300X) на кастомной 2,3B модели Laneformer без квантования и спекулятивного декодирования — за счёт программной оптимизации «снизу вверх». Ключевые инновации: единый моноядро (monokernel), отложенный тензорный параллелизм (DTP) и собственная библиотека связи KCCL — они у...
ОпубликовалОтредактировано с помощью DeepSeek-V4-FlashИзображения созданы с помощью GPT Image 1.5
Kog добился 3 000 выходных токенов/с (8× AMD MI300X) на кастомной 2,3B модели Laneformer без квантования и спекулятивного декодирования — за счёт программной оптимизации «снизу вверх».
Ключевые инновации: единый моноядро (monokernel), отложенный тензорный параллелизм (DTP) и собственная библиотека связи KCCL — они устраняют простои GPU при обмене данными между чипами.
Главный вызов — масштабирование: пока рекордные цифры достигнуты на 2B модели; компания обещает в ближайшие месяцы показать 10 кратное ускорение на «тяжёлых» моделях (70B+).
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
Промпт ИИ
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Французский стартап Kog утверждает, что может добиться ускорения инференса больших языковых моделей (LLM) до 30 раз на существующих датацентровых GPU — и всё это исключительно за счёт глубокой оптимизации программного стека. Вместо создания собственных ASIC или покупки экзотического «железа» компания спроектировала кастомную архитектуру модели (Laneformer), однокристальный инференс-движок (KIE) и собственный коммуникационный слой (KCCL), чтобы устранить каждую точку простоя в цикле декодирования.
В основе подхода — проектирование трёх уровней как единой системы:
Моноядро (Monokernel) — весь проход декодирования LLM выполняется как один постоянный kernel без перезапусков между слоями, что полностью устраняет накладные расходы на запуск ядер CUDA.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Каков краткий ответ на вопрос «Скорость без кастомного «железа»: как французский стартап Kog ускоряет LLM-инференс до 30 раз на существующих GPU»?
Kog добился 3 000 выходных токенов/с (8× AMD MI300X) на кастомной 2,3B модели Laneformer без квантования и спекулятивного декодирования — за счёт программной оптимизации «снизу вверх».
Какие ключевые моменты необходимо проверить в первую очередь?
Kog добился 3 000 выходных токенов/с (8× AMD MI300X) на кастомной 2,3B модели Laneformer без квантования и спекулятивного декодирования — за счёт программной оптимизации «снизу вверх». Ключевые инновации: единый моноядро (monokernel), отложенный тензорный параллелизм (DTP) и собственная библиотека связи KCCL — они устраняют простои GPU при обмене данными между чипами.
Что мне делать дальше на практике?
Главный вызов — масштабирование: пока рекордные цифры достигнуты на 2B модели; компания обещает в ближайшие месяцы показать 10 кратное ускорение на «тяжёлых» моделях (70B+).
Скорость без кастомного «железа»: как французский стартап Kog ускоряет LLM-инференс до 30 раз на существующих GPU
Kog добился 3 000 выходных токенов/с (8× AMD MI300X) на кастомной 2,3B модели Laneformer без квантования и спекулятивного декодирования — за счёт программной оптимизации «снизу вверх». Ключевые инновации: единый моноядро (monokernel), отложенный тензорный параллелизм (DTP) и собственная библиотека связи KCCL — они у...
ОпубликовалОтредактировано с помощью DeepSeek-V4-FlashИзображения созданы с помощью GPT Image 1.5
Kog добился 3 000 выходных токенов/с (8× AMD MI300X) на кастомной 2,3B модели Laneformer без квантования и спекулятивного декодирования — за счёт программной оптимизации «снизу вверх».
Ключевые инновации: единый моноядро (monokernel), отложенный тензорный параллелизм (DTP) и собственная библиотека связи KCCL — они устраняют простои GPU при обмене данными между чипами.
Главный вызов — масштабирование: пока рекордные цифры достигнуты на 2B модели; компания обещает в ближайшие месяцы показать 10 кратное ускорение на «тяжёлых» моделях (70B+).
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
Промпт ИИ
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Французский стартап Kog утверждает, что может добиться ускорения инференса больших языковых моделей (LLM) до 30 раз на существующих датацентровых GPU — и всё это исключительно за счёт глубокой оптимизации программного стека. Вместо создания собственных ASIC или покупки экзотического «железа» компания спроектировала кастомную архитектуру модели (Laneformer), однокристальный инференс-движок (KIE) и собственный коммуникационный слой (KCCL), чтобы устранить каждую точку простоя в цикле декодирования.
В основе подхода — проектирование трёх уровней как единой системы:
Моноядро (Monokernel) — весь проход декодирования LLM выполняется как один постоянный kernel без перезапусков между слоями, что полностью устраняет накладные расходы на запуск ядер CUDA.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Каков краткий ответ на вопрос «Скорость без кастомного «железа»: как французский стартап Kog ускоряет LLM-инференс до 30 раз на существующих GPU»?
Kog добился 3 000 выходных токенов/с (8× AMD MI300X) на кастомной 2,3B модели Laneformer без квантования и спекулятивного декодирования — за счёт программной оптимизации «снизу вверх».
Какие ключевые моменты необходимо проверить в первую очередь?
Kog добился 3 000 выходных токенов/с (8× AMD MI300X) на кастомной 2,3B модели Laneformer без квантования и спекулятивного декодирования — за счёт программной оптимизации «снизу вверх». Ключевые инновации: единый моноядро (monokernel), отложенный тензорный параллелизм (DTP) и собственная библиотека связи KCCL — они устраняют простои GPU при обмене данными между чипами.
Что мне делать дальше на практике?
Главный вызов — масштабирование: пока рекордные цифры достигнуты на 2B модели; компания обещает в ближайшие месяцы показать 10 кратное ускорение на «тяжёлых» моделях (70B+).
Отложенный тензорный параллелизм (Delayed Tensor Parallelism, DTP) — стандартный тензорный параллелизм блокируется на all-reduce на каждом слое. Kog откладывает all-reduce на δ=2 слоя, накладывая коммуникацию на вычисления и потоковую загрузку весов: GPU не простаивают в ожидании данных.
Архитектура Laneformer — модель делится на 8 параллельных «полос» (lanes), синхронизированных с графиком DTP, что позволяет движку идеально скрывать накладные расходы тензорного параллелизма.
Кастомный коммуникационный слой (KCCL) — заменяет стандартные NCCL/RCCL, обеспечивая более низкую задержку и линейное масштабирование тензорного параллелизма между GPU.
Оптимизация на уровне ассемблера — Kog работает на уровне C++/ассемблера, а не «навешивает» tweaks поверх CUDA или ROCm, используя каждый цикл пропускной способности памяти и вычислительных ресурсов GPU.
Laneformer 2B: подтверждённые результаты
Kog опубликовал в открытом доступе модель Laneformer 2B (2,3 млрд параметров) — настроенную для задач кодирования, оптимизированную для скорости декодирования, а не для абсолютных бенчмарков. Эти скорости примерно в 10 раз выше, чем типичная пропускная способность vLLM для модели такого размера.
Показатель
Результат
Скорость декодирования на 8× AMD MI300X
3 000 выходных токенов/с на один запрос (FP16, batch size 1)
Скорость декодирования на 8× NVIDIA H200
2 100 выходных токенов/с на один запрос (FP16, batch size 1)
HumanEval+ (greedy)
45,1%
MBPP+ (greedy)
51,6%
Метод
Без квантования, без спекулятивного декодирования, без прунинга
Следующие шаги: масштабирование
Публичный техпревью Kog пока работает на 2B-модели. Компания спешит масштабировать свои методы:
Ближайшая цель: продемонстрировать 10-кратное ускорение на крупной отраслевой модели (например, 70B+ dense или MoE). Компания рассчитывает достичь этого в ближайшие месяцы.
Долгосрочная амбиция: показать, что подход может обеспечить 30-кратное ускорение на больших моделях MoE — на скоростях, аналогичных достигнутым на Laneformer 2B. Kog публично заявляет, что его методы DTP и моноядра масштабируются на архитектуру MoE.
После запуска в мае 2026 года Kog, по собственным данным, получил более 200 ощутимых бизнес-лидов и полностью сосредоточен на поддержке более крупных моделей в ответ на корпоративный спрос.
Сравнение с конкурентами
ZML — ещё один французский AI-стартап (поддержанный Яном ЛеКуном). ZML выбрал иной путь: он выпустил LLMD — бесплатный движок для инференса, позволяющий запускать множество открытых моделей на самых разных чипах (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) с помощью единого компиляторного подхода. ZML делает ставку на аппаратную портативность и поддержку множества чипов, а не на экстремальную задержку одиночного запроса. Kog, напротив, создан для максимального снижения задержки на конкретных высокопроизводительных датацентровых GPU (MI300X, H200) через глубокую, аппаратно-зависимую оптимизацию.
Cerebras — использует принципиально иную, «железную» стратегию: Wafer-Scale Engine (WSE-3), огромный одиночный кристалл, устраняющий необходимость в меж-GPU-взаимодействии. Cerebras достигает ~2 100 токенов/с на Llama 3.1 70B (batch 1) на своём WSE-3 — примечательно, что эта скорость достигается для модели на 70B, а не на 2B.
Параметр
Kog
Cerebras
Подход
Только софт на стандартных GPU
Кастомное «железо» (wafer-scale)
Лучшая демонстрация
3 000 ток/с на 2B-модели
~2 100 ток/с на 70B-модели
Заявленное ускорение
Цель: 30x на frontier-моделях
~4x против H100 на 70B
Стоимость оборудования
Использует существующую GPU-инфраструктуру
Требует проприетарных систем CS-3
Зрелость
Ранняя стадия (техпревью, 2B только)
Продакшн-уровень для многих открытых моделей
Ключевое предостережение: результат Kog в 3 000 ток/с получен на модели с 2,3B параметров — на порядок меньше, чем 70B-модели, которые Cerebras обслуживает на сопоставимых скоростях. Kog ещё предстоит продемонстрировать своё 30-кратное ускорение в масштабе. Следующая веха компании (10x на крупной отраслевой модели) станет решающим доказательством.
Отложенный тензорный параллелизм (Delayed Tensor Parallelism, DTP) — стандартный тензорный параллелизм блокируется на all-reduce на каждом слое. Kog откладывает all-reduce на δ=2 слоя, накладывая коммуникацию на вычисления и потоковую загрузку весов: GPU не простаивают в ожидании данных.
Архитектура Laneformer — модель делится на 8 параллельных «полос» (lanes), синхронизированных с графиком DTP, что позволяет движку идеально скрывать накладные расходы тензорного параллелизма.
Кастомный коммуникационный слой (KCCL) — заменяет стандартные NCCL/RCCL, обеспечивая более низкую задержку и линейное масштабирование тензорного параллелизма между GPU.
Оптимизация на уровне ассемблера — Kog работает на уровне C++/ассемблера, а не «навешивает» tweaks поверх CUDA или ROCm, используя каждый цикл пропускной способности памяти и вычислительных ресурсов GPU.
Laneformer 2B: подтверждённые результаты
Kog опубликовал в открытом доступе модель Laneformer 2B (2,3 млрд параметров) — настроенную для задач кодирования, оптимизированную для скорости декодирования, а не для абсолютных бенчмарков. Эти скорости примерно в 10 раз выше, чем типичная пропускная способность vLLM для модели такого размера.
Показатель
Результат
Скорость декодирования на 8× AMD MI300X
3 000 выходных токенов/с на один запрос (FP16, batch size 1)
Скорость декодирования на 8× NVIDIA H200
2 100 выходных токенов/с на один запрос (FP16, batch size 1)
HumanEval+ (greedy)
45,1%
MBPP+ (greedy)
51,6%
Метод
Без квантования, без спекулятивного декодирования, без прунинга
Следующие шаги: масштабирование
Публичный техпревью Kog пока работает на 2B-модели. Компания спешит масштабировать свои методы:
Ближайшая цель: продемонстрировать 10-кратное ускорение на крупной отраслевой модели (например, 70B+ dense или MoE). Компания рассчитывает достичь этого в ближайшие месяцы.
Долгосрочная амбиция: показать, что подход может обеспечить 30-кратное ускорение на больших моделях MoE — на скоростях, аналогичных достигнутым на Laneformer 2B. Kog публично заявляет, что его методы DTP и моноядра масштабируются на архитектуру MoE.
После запуска в мае 2026 года Kog, по собственным данным, получил более 200 ощутимых бизнес-лидов и полностью сосредоточен на поддержке более крупных моделей в ответ на корпоративный спрос.
Сравнение с конкурентами
ZML — ещё один французский AI-стартап (поддержанный Яном ЛеКуном). ZML выбрал иной путь: он выпустил LLMD — бесплатный движок для инференса, позволяющий запускать множество открытых моделей на самых разных чипах (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) с помощью единого компиляторного подхода. ZML делает ставку на аппаратную портативность и поддержку множества чипов, а не на экстремальную задержку одиночного запроса. Kog, напротив, создан для максимального снижения задержки на конкретных высокопроизводительных датацентровых GPU (MI300X, H200) через глубокую, аппаратно-зависимую оптимизацию.
Cerebras — использует принципиально иную, «железную» стратегию: Wafer-Scale Engine (WSE-3), огромный одиночный кристалл, устраняющий необходимость в меж-GPU-взаимодействии. Cerebras достигает ~2 100 токенов/с на Llama 3.1 70B (batch 1) на своём WSE-3 — примечательно, что эта скорость достигается для модели на 70B, а не на 2B.
Параметр
Kog
Cerebras
Подход
Только софт на стандартных GPU
Кастомное «железо» (wafer-scale)
Лучшая демонстрация
3 000 ток/с на 2B-модели
~2 100 ток/с на 70B-модели
Заявленное ускорение
Цель: 30x на frontier-моделях
~4x против H100 на 70B
Стоимость оборудования
Использует существующую GPU-инфраструктуру
Требует проприетарных систем CS-3
Зрелость
Ранняя стадия (техпревью, 2B только)
Продакшн-уровень для многих открытых моделей
Ключевое предостережение: результат Kog в 3 000 ток/с получен на модели с 2,3B параметров — на порядок меньше, чем 70B-модели, которые Cerebras обслуживает на сопоставимых скоростях. Kog ещё предстоит продемонстрировать своё 30-кратное ускорение в масштабе. Следующая веха компании (10x на крупной отраслевой модели) станет решающим доказательством.
