Kog vs. de GPU-limiet: hoe software alleen 30x snellere LLM-inferentie kan leveren

Kog is een Franse startup die claimt tot 30x snellere LLM-inferentie te kunnen realiseren op bestaande datacenter-GPU's, door een diepgaande, software-eerst optimalisatiestack – met een gezamenlijk ontworpen modelarchitectuur (Laneformer), een single-kernel inferentie-engine (KIE) en een aangepaste communicatielaag (KCCL) om elke bron van vertraging in de decode-lus weg te nemen.

In plaats van custom ASIC's te bouwen of exotische hardware aan te schaffen, behandelt Kog drie lagen als één gezamenlijk ontworpen systeem:

• Monokernel (enkel aanhoudend CUDA-kernel): De volledige LLM-decodepass draait als één aanhoudende kernel zonder kernel-lanceringen of onderbrekingen tussen lagen, waardoor GPU-lanceeroverhead volledig wordt geëlimineerd.
• Delayed Tensor Parallelism (DTP): Standaard tensor-parallelisme blokkeert bij elke laag op een all-reduce. Kog stelt elke all-reduce uit met δ=2 lagen, waardoor communicatie wordt overlapt met berekening en het streamen van gewichten, zodat de GPU's nooit inactief wachten op gegevens.
• Lane-structured Transformer-architectuur: Laneformer verdeelt het model in 8 parallelle 'banen' die aansluiten bij het communicatieschema van DTP, waardoor de engine de overhead van tensor-parallelisme perfect kan verbergen.
• Aangepaste communicatielaag (KCCL): Vervangt standaard NCCL/RCCL voor lagere latentie, lineair schalend tensor-parallelisme over GPU's.
• Assembly-level optimalisatie: Kog werkt op C++/assembly-niveau in plaats van aanpassingen te stapelen op CUDA of ROCm, en richt zich op elke cyclus van GPU-geheugenbandbreedte en rekennut.

Laneformer 2B: aangetoonde resultaten

Kog heeft Laneformer 2B (2,3 miljard parameters) open-source gemaakt, een instructie-getuned codeermodel ontworpen voor decodesnelheid boven ruwe benchmarkscore. Deze snelheden zijn ruwweg 10x sneller dan de typische vLLM-doorvoer voor een model van dit formaat.

Metriek	Resultaat
Decodesnelheid op 8× AMD MI300X	3.000 output tokens/s per request (FP16, batchsize 1)
Decodesnelheid op 8× NVIDIA H200	2.100 output tokens/s per request (FP16, batchsize 1)
HumanEval+ (greedy)	45,1%
MBPP+ (greedy)	51,6%
Methode	Geen kwantisering, geen speculatieve decoding, geen pruning

Volgende mijlpalen voor opschaling

Kog's openbare technische preview draait op een 2B-model. Het bedrijf racet nu om zijn technieken op te schalen:

• Doel op korte termijn: Een 10x snelheidsverbetering op een groot industrieel model (bijv. 70B+ dense of MoE) aantonen. Het bedrijf verwacht dit in de komende maanden te bereiken.
• Langetermijnambitie: Aantonen dat de aanpak 30x snellere inferentie kan leveren op grote frontiermodellen (MoE) met snelheden vergelijkbaar met wat is bereikt op Laneformer 2B. Kog heeft publiekelijk beargumenteerd dat DTP en monokernel-technieken gunstig schalen naar MoE-architecturen.
• Sinds de lancering in mei 2026 zegt Kog 200+ tastbare zakelijke leads te hebben gegenereerd en is het volledig gericht op ondersteuning van grotere modellen om aan de bedrijfsvraag te voldoen.

Vergelijking met concurrenten

ZML — Ook een Franse AI-startup (gesteund door Yann LeCun), ZML hanteert een andere aanpak: het bracht LLMD uit, een gratis inferentie-engine waarmee veel opensource-modellen op een breed scala aan chips kunnen draaien (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) met behulp van een uniforme compiler-gebaseerde benadering. ZML geeft prioriteit aan hardwareportabiliteit en ondersteuning voor meerdere chips in plaats van extreme single-request latentie. Kog is daarentegen specifiek gebouwd voor maximale latentiereductie op specifieke high-end datacenter-GPU's (MI300X, H200) door diepgaande, hardwarespecifieke optimalisatie.

Cerebras — Gebruikt een fundamenteel hardware-first strategie: de Wafer-Scale Engine (WSE-3), een massieve enkele chip die de noodzaak voor multi-GPU communicatie elimineert. Cerebras behaalt ~2.100 tokens/s op Llama 3.1 70B (batch 1) op zijn WSE-3 hardware — die snelheid is voor een 70B model, niet een 2B model.

Dimensie	Kog	Cerebras
Aanpak	Alleen software op standaard GPU's	Custom wafer-scale hardware
Beste demo	3.000 tok/s op een 2B model	~2.100 tok/s op 70B model
Latentieclaim	Streeft naar 30x op frontiermodellen	~4x vs H100 op 70B modellen
Hardwarekosten	Gebruikt bestaande GPU-infrastructuur	Vereist propriëtaire CS-3 systemen
Volwassenheid	Vroege fase (tech preview, alleen 2B)	Productieklaar voor meerdere open modellen

Belangrijk voorbehoud: Kog's 3.000 tok/s resultaat is op een 2,3B model – een orde van grootte kleiner dan de 70B modellen die Cerebras op vergelijkbare snelheden levert. Kog moet zijn 30x-claim nog op schaal aantonen. De volgende mijlpaal van het bedrijf (10x op een groot industrieel model) zal het cruciale bewijspunt zijn.