Kog vs. limity GPU: Jak samotný software dokáže 30× zrychlit inferenci velkých jazykových modelů

Kog je francouzský startup, který tvrdí, že dokáže dosáhnout až 30× rychlejší inference velkých jazykových modelů (LLM) na stávajících datacentrových GPU – a to pouze pomocí hluboké softwarové optimalizace. Jeho přístup spočívá v ko-designu vlastní architektury modelu (Laneformer), jednovláknového inferenčního enginu (KIE) a vlastní komunikační vrstvy (KCCL), jejichž cílem je odstranit každý zdroj zpoždění v dekódovací smyčce.

Místo stavby custom čipů nebo pořizování exotického hardwaru přistupuje Kog ke třem vrstvám jako k jedinému ko-designovanému systému:

• Monokernel (jediné perzistentní CUDA jádro): Celý dekódovací průchod LLM běží jako jediné perzistentní jádro bez spouštění nových kernelů či přerušení mezi vrstvami, což zcela eliminuje režii spojenou s jejich startem.
• Zpožděný tenzorový paralelismus (DTP): Standardní tenzorový paralelismus blokuje tok vždy při all-reduce operaci v každé vrstvě. Kog odkládá každou all-reduce o δ=2 vrstvy, čímž překrývá komunikaci s výpočty a streamováním vah – GPU tak nikdy nečekají na data.
• Lane-structured Transformer architektura: Laneformer rozděluje model do 8 paralelních "pruhů" (lanes), které jsou sladěny s komunikačním plánem DTP, což umožňuje enginu dokonale skrýt režii tenzorového paralelismu.
• Vlastní komunikační vrstva (KCCL): Nahrazuje standardní NCCL/RCCL knihovny a dosahuje nižší latence a lineárně škálovatelného tenzorového paralelismu napříč GPU.
• Optimalizace na úrovni assembleru: Kog pracuje na úrovni C++ a assembleru, nikoli pouze s úpravami CUDA nebo ROCm, a cílí na každý cyklus paměťové šířky pásma a výpočetního vytížení GPU.

Laneformer 2B: Demonstrované výsledky

Kog uvolnil jako open-source Laneformer 2B (2,3 miliardy parametrů), instrukcí laděný kódovací model navržený primárně pro rychlost dekódování, nikoli pro surové skóre v benchmarcích. Tyto rychlosti jsou zhruba 10× vyšší než typická propustnost vLLM pro model této velikosti.

Metrika	Výsledek
Rychlost dekódování na 8× AMD MI300X	3 000 výstupních tokenů/s na jeden požadavek (FP16, batch size 1)
Rychlost dekódování na 8× NVIDIA H200	2 100 výstupních tokenů/s na jeden požadavek (FP16, batch size 1)
HumanEval+ (greedy)	45,1 %

Další milníky škálování

Veřejná technická ukázka Kogu běží na modelu s 2 miliardami parametrů. Startup nyní usilovně pracuje na škálování svých technik:

• Krátkodobý cíl: Předvést 10× zrychlení na významném průmyslovém modelu (např. 70B+ dense nebo MoE). Firma očekává, že tohoto cíle dosáhne v následujících měsících.
• Dlouhodobá ambice: Ukázat, že jejich přístup dokáže poskytnout 30× rychlejší inferenci na velkých špičkových MoE modelech při rychlostech podobných těm, kterých dosáhli na Laneformer 2B. Kog veřejně argumentuje, že jeho techniky DTP a monokernelu se škálují příznivě i na MoE architektury.
• Od svého spuštění v květnu 2026 Kog uvádí, že vygeneroval více než 200 konkrétních obchodních leadů a plně se soustředí na podporu větších modelů, aby uspokojil firemní poptávku.

Srovnání s konkurencí

ZML – Také francouzský AI startup (podpořený Yannem LeCunem) jde jinou cestou: vydal LLMD, bezplatný inferenční engine, který umožňuje provozovat mnoho open-source modelů na široké škále čipů (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) pomocí sjednoceného kompilátorového přístupu. ZML upřednostňuje hardwarovou přenositelnost a podporu více čipů před extrémně nízkou latencí jednoho požadavku. Kog je naopak cíleně navržen pro maximální snížení latence na konkrétních špičkových datacentrových GPU (MI300X, H200) prostřednictvím hluboké, na hardware specifické optimalizace.

Cerebras – Používá zásadně odlišnou strategii zaměřenou na hardware: Wafer-Scale Engine (WSE-3), masivní jediný čip, který eliminuje potřebu komunikace mezi více GPU. Cerebras dosahuje ~2 100 tokenů/s na Llama 3.1 70B (batch 1) na svém hardwaru WSE-3 – pozoruhodné je, že tato rychlost je pro 70B model, nikoli 2B model.

Rozměr	Kog	Cerebras
Přístup	Pouze software na standardních GPU	Vlastní wafer-scale hardware
Nejlepší ukázka	3 000 tok/s na 2B modelu	~2 100 tok/s na 70B modelu
Tvrzení o latenci	Cílí na 30× u špičkových modelů	~4× oproti H100 u 70B modelů
Náklady na hardware	Využívá stávající GPU infrastrukturu	Vyžaduje proprietární systémy CS-3
Vyspělost	Raná fáze (technická ukázka, pouze 2B)	Produkční pro několik otevřených modelů

Klíčové upozornění: Výsledek 3 000 tok/s od Kogu je na modelu s 2,3 miliardami parametrů – o řád menším než 70B modely, které Cerebras obsluhuje při srovnatelných rychlostech. Kog zatím neprokázal své 30× tvrzení v měřítku. Další milník (10× na velkém průmyslovém modelu) bude klíčovým důkazem.