30x raskere KI uten ny maskinvare? Slik vil franske Kog forvandle GPU-ytelse

Kog er en fransk startup som hevder å kunne oppnå opptil 30x raskere LLM-inferens på eksisterende datacenter-GPUer, ved hjelp av en dyp, programvarefokusert optimaliseringsstabel – der en spesialdesignet modellarkitektur (Laneformer), en enkeltkjerne-inferensmotor (KIE) og et egendefinert kommunikasjonslag (KCCL) samdesignes for å eliminere alle kilder til hastighetstap i dekodingsløkken.

I stedet for å bygge egne ASIC-er eller anskaffe eksotisk maskinvare, behandler Kog tre lag som ett samdesignet system:

• Monokjerne (én vedvarende CUDA-kjerne): Hele LLM-dekodingspasset kjører som én vedvarende kjerne uten oppstart eller avbrudd mellom lagene, noe som fjerner GPU-oppstartskostnaden fullstendig.
• Forsinket tensor-parallellisme (DTP): Standard tensor-parallellisme venter på en all-reduce ved hvert lag. Kog utsetter hver all-reduce med δ=2 lag, og overlapper kommunikasjon med beregning og vektstrømming, slik at GPU-ene aldri er inaktive.
• Lane-strukturert transformatorarkitektur: Laneformer deler modellen i 8 parallelle «baner» som er tilpasset DTPs kommunikasjonsplan, slik at motoren perfekt skjuler overhead fra tensor-parallellisme.
• Egendefinert kommunikasjonslag (KCCL): Erstatter standard NCCL/RCCL for å oppnå lavere latens og lineær skalering av tensor-parallellisme på tvers av GPUer.
• Monteringsnivåoptimalisering: Kog jobber på C++/monteringsnivå i stedet for å stable justeringer på CUDA eller ROCm, og retter seg mot hver syklus av GPU-minnebåndbredde og beregningsutnyttelse.

Laneformer 2B: Dokumenterte resultater

Kog åpnet kildekoden til Laneformer 2B (2,3 milliarder parametere), en instruksjonstilpasset kodingsmodell designet for dekodingshastighet fremfor rå benchmark-score. Disse hastighetene er omtrent 10x raskere enn typisk vLLM-gjennomstrømning for en modell av denne størrelsen.

Metrikk	Resultat
Dekodingshastighet på 8× AMD MI300X	3000 utgående tokens/s per forespørsel (FP16, batchstørrelse 1)
Dekodingshastighet på 8× NVIDIA H200	2100 utgående tokens/s per forespørsel (FP16, batchstørrelse 1)
HumanEval+ (grådig)	45,1 %
MBPP+ (grådig)	51,6 %
Metode	Ingen kvantisering, ingen spekulativ dekoding, ingen beskjæring

Neste milepæler for skalering

Kogs offentlige teknologipreview kjører på en 2B-modell. Selskapet jobber nå med å skalere teknikkene:

• Kortsiktig mål: Vise 10x hastighetsforbedring på en stor industrimodell (f.eks. 70B+ tett eller MoE). Selskapet forventer å nå dette i løpet av de kommende månedene.
• Langsiktig ambisjon: Vise at tilnærmingen kan levere 30x raskere inferens på store grense-MoE-modeller med hastigheter som ligner på det de oppnådde på Laneformer 2B. Kog har argumentert for at DTP- og monokjerneteknikkene skalerer godt til MoE-arkitekturer.
• Siden lanseringen i mai 2026 har Kog ifølge seg selv generert 200+ konkrete forretningshenvendelser og fokuserer nå fullt på støtte for større modeller for å møte bedriftsetterspørselen.

Sammenligning med konkurrenter

ZML – Også en fransk KI-startup (anbefalt av Yann LeCun), ZML tar en annen tilnærming: de lanserte LLMD, en gratis inferensmotor som lar mange åpne kildemodeller kjøre på en lang rekke brikker (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) ved hjelp av en enhetlig kompilatorbasert tilnærming. ZML prioriterer maskinvareportabilitet og støtte for flere brikker fremfor ekstrem én-forespørsels-latens. Kog er derimot skreddersydd for maksimal latensreduksjon på spesifikke avanserte datacenter-GPUer (MI300X, H200) gjennom dyp, maskinvarespesifikk optimalisering.

Cerebras – Bruker en fundamentalt maskinvareførste strategi: Wafer-Scale Engine (WSE-3), en massiv enkeltbrikke som eliminerer behovet for kommunikasjon mellom flere GPUer. Cerebras oppnår ~2100 tokens/s på Llama 3.1 70B (batch 1) på WSE-3-maskinvaren – merk at denne hastigheten er for en 70B-modell, ikke en 2B-modell.

Dimensjon	Kog	Cerebras
Tilnærming	Kun programvare på standard GPUer	Egendefinert wafer-skala maskinvare
Beste demo	3000 tok/s på en 2B-modell	~2100 tok/s på 70B-modell
Latenspåstand	Målretting mot 30x på grense-modeller	~4x vs H100 på 70B-modeller
Maskinvarekostnad	Bruker eksisterende GPU-infrastruktur	Krever proprietære CS-3-systemer
Modenhet	Tidlig fase (teknologipreview, kun 2B)	Produksjonsklar for flere åpne modeller

Viktig forbehold: Kogs 3000 tok/s-resultat gjelder en 2,3B-modell – en størrelsesorden mindre enn 70B-modellene Cerebras betjener med sammenlignbare hastigheter. Kog har ennå ikke demonstrert 30x-påstanden i stor skala. Selskapets neste milepæl (10x på en stor industrimodell) vil være det kritiske beviset.