Laneformer 2B: Demonstrované výsledky

Kog uvolnil jako open-source Laneformer 2B (2,3 miliardy parametrů), instrukcí laděný kódovací model navržený primárně pro rychlost dekódování, nikoli pro surové skóre v benchmarcích. Tyto rychlosti jsou zhruba 10× vyšší než typická propustnost vLLM pro model této velikosti.

Další milníky škálování

Veřejná technická ukázka Kogu běží na modelu s 2 miliardami parametrů. Startup nyní usilovně pracuje na škálování svých technik:

• Krátkodobý cíl: Předvést 10× zrychlení na významném průmyslovém modelu (např. 70B+ dense nebo MoE). Firma očekává, že tohoto cíle dosáhne v následujících měsících.
• Dlouhodobá ambice: Ukázat, že jejich přístup dokáže poskytnout 30× rychlejší inferenci na velkých špičkových MoE modelech při rychlostech podobných těm, kterých dosáhli na Laneformer 2B. Kog veřejně argumentuje, že jeho techniky DTP a monokernelu se škálují příznivě i na MoE architektury.
• Od svého spuštění v květnu 2026 Kog uvádí, že vygeneroval více než 200 konkrétních obchodních leadů a plně se soustředí na podporu větších modelů, aby uspokojil firemní poptávku.

Srovnání s konkurencí

ZML – Také francouzský AI startup (podpořený Yannem LeCunem) jde jinou cestou: vydal LLMD, bezplatný inferenční engine, který umožňuje provozovat mnoho open-source modelů na široké škále čipů (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) pomocí sjednoceného kompilátorového přístupu. ZML upřednostňuje hardwarovou přenositelnost a podporu více čipů před extrémně nízkou latencí jednoho požadavku. Kog je naopak cíleně navržen pro maximální snížení latence na konkrétních špičkových datacentrových GPU (MI300X, H200) prostřednictvím hluboké, na hardware specifické optimalizace.

Cerebras – Používá zásadně odlišnou strategii zaměřenou na hardware: Wafer-Scale Engine (WSE-3), masivní jediný čip, který eliminuje potřebu komunikace mezi více GPU. Cerebras dosahuje ~2 100 tokenů/s na Llama 3.1 70B (batch 1) na svém hardwaru WSE-3 – pozoruhodné je, že tato rychlost je pro 70B model, nikoli 2B model.

Klíčové upozornění: Výsledek 3 000 tok/s od Kogu je na modelu s 2,3 miliardami parametrů – o řád menším než 70B modely, které Cerebras obsluhuje při srovnatelných rychlostech. Kog zatím neprokázal své 30× tvrzení v měřítku. Další milník (10× na velkém průmyslovém modelu) bude klíčovým důkazem.

Laneformer 2B: Demonstrované výsledky

Kog uvolnil jako open-source Laneformer 2B (2,3 miliardy parametrů), instrukcí laděný kódovací model navržený primárně pro rychlost dekódování, nikoli pro surové skóre v benchmarcích. Tyto rychlosti jsou zhruba 10× vyšší než typická propustnost vLLM pro model této velikosti.

Další milníky škálování

Veřejná technická ukázka Kogu běží na modelu s 2 miliardami parametrů. Startup nyní usilovně pracuje na škálování svých technik:

• Krátkodobý cíl: Předvést 10× zrychlení na významném průmyslovém modelu (např. 70B+ dense nebo MoE). Firma očekává, že tohoto cíle dosáhne v následujících měsících.
• Dlouhodobá ambice: Ukázat, že jejich přístup dokáže poskytnout 30× rychlejší inferenci na velkých špičkových MoE modelech při rychlostech podobných těm, kterých dosáhli na Laneformer 2B. Kog veřejně argumentuje, že jeho techniky DTP a monokernelu se škálují příznivě i na MoE architektury.
• Od svého spuštění v květnu 2026 Kog uvádí, že vygeneroval více než 200 konkrétních obchodních leadů a plně se soustředí na podporu větších modelů, aby uspokojil firemní poptávku.

Srovnání s konkurencí

ZML – Také francouzský AI startup (podpořený Yannem LeCunem) jde jinou cestou: vydal LLMD, bezplatný inferenční engine, který umožňuje provozovat mnoho open-source modelů na široké škále čipů (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) pomocí sjednoceného kompilátorového přístupu. ZML upřednostňuje hardwarovou přenositelnost a podporu více čipů před extrémně nízkou latencí jednoho požadavku. Kog je naopak cíleně navržen pro maximální snížení latence na konkrétních špičkových datacentrových GPU (MI300X, H200) prostřednictvím hluboké, na hardware specifické optimalizace.

Cerebras – Používá zásadně odlišnou strategii zaměřenou na hardware: Wafer-Scale Engine (WSE-3), masivní jediný čip, který eliminuje potřebu komunikace mezi více GPU. Cerebras dosahuje ~2 100 tokenů/s na Llama 3.1 70B (batch 1) na svém hardwaru WSE-3 – pozoruhodné je, že tato rychlost je pro 70B model, nikoli 2B model.

Klíčové upozornění: Výsledek 3 000 tok/s od Kogu je na modelu s 2,3 miliardami parametrů – o řád menším než 70B modely, které Cerebras obsluhuje při srovnatelných rychlostech. Kog zatím neprokázal své 30× tvrzení v měřítku. Další milník (10× na velkém průmyslovém modelu) bude klíčovým důkazem.