Startup Kog dosahuje 3 000 tokenů/s na běžných GPU – software poráží custom čipy

AI průmysl utratil miliardy za rychlejší čipy. Pařížský startup Kog AI tvrdí, že se celou dobu zaměřoval na špatný problém – a jeho technologický preview z května 2026 naznačuje, že by tato sázka mohla vyjít.

Kog (Kog AI) je francouzský AI infrastrukturní startup založený v roce 2023 Gaëlem Delalleauem. Jeho hlavním produktem je Kog Inference Engine (KIE) – čistě softwarový inferenční engine, který dramaticky zrychluje inferenci LLM na standardních datacenter GPU bez potřeby specializovaných čipů . Firma se vynořila z módu stealth v květnu 2025 a 28. května 2026 spustila veřejný technologický preview .

Software versus křemík: Kogova sázka proti dedikovanému hardwaru

Cerebras staví účelové wafer-scale čipy. Groq a SambaNova jdou podobnou hardwarovou cestou. Kog volí opačnou strategii: obrovská výkonnostní rezerva ve stávajících GPU zůstává nevyužita kvůli neefektivním softwarovým stackům a hluboká softwarová optimalizace může dosáhnout nebo překonat rychlost dedikovaného hardwaru bez jediného nového čipu .

Klíčovou inovací je monojádro (monokernel) – jediný, trvalý program běžící na GPU, který provádí celý dekódovací cyklus LLM (prefill, decode, LM-head sampling) v jednom tahu, čímž eliminuje režii spouštění jader po jednotlivých tokenech, která trápí standardní stacky . Běžné inferenční frameworky jako vLLM, SGLang a TensorRT-LLM spouští jedno GPU jádro na token, přičemž každé zaplatí zhruba 4,5 μs režii startu plus latenci restartu HBM . Kogův engine obchází standardní komunikační knihovny a eliminuje grid synchronizace, u nichž naměřil, že tvoří 35 % času generování jednotlivých tokenů .

Tvrzení o „30× rychlejším“ výkonu je kalibrováno proti typické rychlosti dekódování 100–300 tokenů/s u modelů 2B–8B na špičkových GPU, oproti Kogovým 3 000 tokenům/s .

Výsledky technologického preview a jasná omezení

Výsledky:

• 3 000+ výstupních tokenů za sekundu na jeden požadavek na node s 8× AMD MI300X s modelem Laneformer 2B (FP16, batch size 1, bez spekulativního dekódování)
• 2 100 výstupních tokenů/s na jeden požadavek na 8× NVIDIA H200 za stejných podmínek
• Latence pro jednoho uživatele dostatečně nízká pro interaktivní použití v reálném čase – demo bylo spuštěno na playground.kog.ai
• Model Laneformer 2B dosáhl 45,1 % HumanEval+ a 51,6 % MBPP+ při greedy dekódování

Omezení:

• Preview běžel pouze na modelu o 2,3 miliardách parametrů (Laneformer 2B). Větší modely nebyly demonstrovány
• Jednalo se o jeden požadavek, jednoho uživatele – nikoli o hromadné dávkování pro produkční nasazení a nebyla ukázána propustnost při souběžné zátěži
• Podporovány byly pouze dva typy GPU: AMD MI300X a NVIDIA H200
• S 11 zaměstnanci je firma na rozsah svých ambicí velmi malá

Cílové použití a první obchodní úspěchy

Kog cílí na tři hlavní scénáře:

• Agentní AI workflow – firma tvrdí, že GPU jsou pro iterativní, nízkolatenční požadavky AI agentů nevhodná a její engine to napravuje
• Inference LLM v reálném čase – coding copiloty, chatboty a aplikace, kde záleží na latenci pod 100 ms na token
• Self-hostovaná podniková inference – společnosti, které již vlastní datacenter GPU a chtějí se vyhnout nákupu dedikovaného inferenčního hardwaru

Po obchodní stránce Kog hlásil více než 200 konkrétních obchodních leadů k srpnu 2026, podle CEO Delalleaua . Technologický preview se v květnu 2026 dostal na titulní stránku Hacker News . Firma získala seed kolo, které spoluvedla Varsity VC, jejíž partner Kamel Zeroual byl Delalleauovým spolu-zakladatelem v jeho prvním startupu Stribe .

Proč tuto firmu řídí fyzik pevných látek, který se stal hackerem

CEO Gaël Delalleau přináší do AI infrastruktury neobvyklé pozadí: fyziku pevných látek a ofenzivní kybernetickou bezpečnost .

• Fyzika pevných látek ho naučila uvažovat od prvních principů o tom, jak se fyzický hardware chová na nízké úrovni – elektrony, paměťová šířka pásma, tranzistorová omezení. Jeho tým přistupuje k optimalizaci GPU jako k fyzikálnímu problému, nikoli softwarovému inženýrství
• Ofenzivní kybernetická bezpečnost mu dala myšlení adversariálního reverzního inženýrství. Kogův engine zkoumá GPU na úrovni assembleru a binárního kódu, nachází skryté rezervy, které standardní ovladače a knihovny neodhalují – klasický „útokové myšlení“ aplikované na výkon hardwaru
• Delalleau není tradiční ML výzkumník; jeho první startup (Stribe, absolvent TechCrunch50 2009) s AI nesouvisel. Sám sebe popisuje jako myslitele od prvních principů, který navrhuje algoritmy od hardwaru nahoru

Výzvy škálování: Velikost týmu, podpora čipů a velikost modelů

Kog čelí třem významným výzvám:

• Velikost týmu: S pouhými 11 zaměstnanci je portování hluboce ručně optimalizovaného monojádra na nové GPU architektury pracně náročné
• Podpora nových čipů: Engine v současnosti podporuje pouze AMD MI300X a NVIDIA H200. Každé nové GPU vyžaduje ruční reverzní inženýrství na úrovni assembleru. CEO Delalleau připouští, že je to úzké hrdlo, i když očekává, že novější GPU architektury s vyšší paměťovou šířkou pásma budou snazšími cíli
• Škálování modelů: Přejít z modelů o 2B parametrech na plnohodnotné LLM (70B+) představuje podle Delalleaua „obrovský skok.“ Techniky, které fungují pro malý model, nemusí být triviálně rozšiřitelné na mnohem větší paměťové a výpočetní nároky

Zlomový milník: Velké jazykové modely

Dalším kritickým milníkem Kogu je prokázání, že jeho přístup funguje na velkých jazykových modelech (70B+ parametrů). CEO Delalleau uvedl, že se firma nyní soustředí na škálování svých technik na plnohodnotné LLM. Důvěru čerpá z novějších GPU architektur s podstatně vyšší paměťovou šířkou pásma – zdroje, o němž Kog věří, že zůstává standardními softwarovými stacky zásadně nevyužitý . Firma neuvedla konkrétní datum, ale tato demonstrace je všeobecně považována za rozhodující důkaz celé teze.