Kog Inference Engine: 3000 tokens i sekundet på vanlige GPUer uten spesialbrikker

AI-industrien har brukt milliarder på å utvikle raskere brikker. Den Paris-baserte oppstarten Kog AI satser på at de har løst feil problem — og tech-forhåndsvisningen i mai 2026 tyder på at veddemålet kan holde vann.

Kog (Kog AI) er en fransk AI-infrastrukturoppstart grunnlagt i 2023 av Gaël Delalleau. Kjerne produktet er Kog Inference Engine (KIE), en programvarebasert inferansemotor som dramatisk akselererer LLM-inferanse på standard datagrafikkort uten å kreve spesialtilpasset silisium . Selskapet kom ut av «stealth»-modus i mai 2025 og lanserte en offentlig tech-forhåndsvisning 28. mai 2026 .

Programvare vs. silisium: Kogs veddemål mot dedikert maskinvare

Cerebras bygger spesialbygde wafer-skala brikker. Groq og SambaNova følger lignende maskinvareførste veier. Kog tar det motsatte veddemålet: massiv ytelsesmargin i eksisterende GPUer blir liggende uutnyttet på grunn av ineffektive programvarestabler, og dyptgående programvareoptimalisering kan matche eller overgå dedikert maskinvarehastigheter uten noen nye brikker .

Kjerneinnovasjonen er en monokjerne — et enkelt, vedvarende GPU-resident program som kjører hele LLM-dekodingspasset (prefill, decode, LM-head sampling) i ett eneste trekk, og eliminerer overheaden ved oppstart av kjerner per token som plager standard stabeler . Standard inferanserammer som vLLM, SGLang og TensorRT-LLM starter én GPU-kjerne per token, hver med omtrent 4,5 μs oppstartsoverhead pluss HBM-omstart-latens . Kogs motor omgår standard kommunikasjonsbiblioteker og eliminerer rutenettsynkroniseringer som de målte til å utgjøre 35 % av tiden per token-generering .

Påstanden om «30 ganger raskere» er kalibrert mot typiske dekodingshastigheter på 100–300 tokens/s for 2B–8B modeller på avanserte GPUer, sammenlignet med Kogs 3000 tokens/s .

Resultater fra tech-forhåndsvisningen og klare begrensninger

Resultater:

• 3000+ tokens per sekund per forespørsel på en enkelt 8× AMD MI300X node med Laneformer 2B modellen (FP16, batch-størrelse 1, ingen spekulativ dekoding)
• 2100 tokens/s per forespørsel på 8× NVIDIA H200 under samme forhold
• Latens for enkeltbruker lav nok for sanntids interaktiv bruk — demoen ble gjort tilgjengelig på playground.kog.ai
• Laneformer 2B modellen oppnådde 45,1 % HumanEval+ og 51,6 % MBPP+ i grådig dekoding

Begrensninger:

• Forhåndsvisningen kjørte kun på en 2,3 milliarder parametere stor modell (Laneformer 2B). Større modeller ble ikke demonstrert
• Det var én forespørsel, én bruker — ikke et batchbehandlet produksjonsoppsett med flere brukere, og viste ikke gjennomstrømning under samtidig last
• Bare to GPU-typer ble støttet: AMD MI300X og NVIDIA H200
• Med 11 ansatte er selskapet svært lite for omfanget av ambisjonen

Målrettede bruksområder og tidlig kommersiell interesse

Kog retter seg mot tre hovedscenarioer:

• Agentiske AI-arbeidsflyter — selskapet argumenterer for at GPUer er dårlig egnet for de iterative, lav-latens kravene til AI-agenter, og at motoren deres fikser dette
• Sanntids LLM-inferanse — kodeassistenter, chatbots og applikasjoner hvor sub-100ms latens per token er viktig
• Selvhostet bedriftsinferanse — selskaper som allerede eier datagrafikkort og ønsker å unngå å kjøpe dedikert inferansemaskinvare

På forretningssiden rapporterte Kog 200+ konkrete forretningshenvendelser per august 2026, ifølge administrerende direktør Delalleau . Tech-forhåndsvisningen nådde forsiden av Hacker News i mai 2026 . Selskapet har hentet en såkornsinvestering med Varsity VC som medleder, hvis partner Kamel Zeroual var Delalleaus medgründer i hans første oppstart, Stribe .

Hvorfor en faststoff-fysiker som ble hacker leder dette selskapet

Administrerende direktør Gaël Delalleau har en uvanlig bakgrunn for AI-infrastruktur: faststoff-fysikk og offensiv cybersikkerhet .

• Faststoff-fysikk trente ham til å resonnere fra første prinsipper om hvordan fysisk maskinvare oppfører seg på lavt nivå — elektroner, minnebåndbredde, transistor-nivå begrensninger. Teamet hans behandler GPU-optimalisering som et fysikkproblem snarere enn et programvareutviklingsproblem
• Offensiv cybersikkerhet gav ham en mentalitet preget av motstanderens revers-teknikk. Kogs motor undersøker GPUer på assembler- og binærnivå, og finner skjult ytelsesmargin som standard drivere og biblioteker ikke eksponerer — en klassisk «angripertankegang» anvendt på maskinvareytelse
• Delalleau er ikke en tradisjonell ML-forsker; hans første oppstart (Stribe, en TechCrunch50 2009-deltaker) var ikke relatert til AI. Han beskriver seg selv som en første-prinsipp tenker som designer algoritmer fra maskinvaren og opp

Skaleringsutfordringer: teamstørrelse, brikkestøtte og modellskala

Kog står overfor tre betydelige skaleringshindringer:

• Teamstørrelse: Med bare 11 ansatte er det arbeidskrevende å porte den dypt håndoptimaliserte monokjernen til nye GPU-arkitekturer
• Støtte for nye brikker: Motoren støtter for øyeblikket kun AMD MI300X og NVIDIA H200. Hver ny GPU krever manuell revers-teknikk på assembler-nivå. Administrerende direktør Delalleau erkjenner at dette er en flaskehals, selv om han forventer at nyere GPU-arkitekturer med høyere minnebåndbredde vil bli enklere mål
• Modellskala: Å skalere fra 2 milliarder parametere store modeller til fullskala LLM-er (70B+) representerer det Delalleau kaller «et enormt sprang.» Teknikkene som fungerer for en liten modell, kan ikke nødvendigvis overføres til mye større minne- og beregningsfotavtrykk

Den avgjørende milepælen: store språkmodeller

Kogs neste kritiske milepæl er å bevise at tilnærmingen fungerer på store språkmodeller (70B+ parametere). Administrerende direktør Delalleau har uttalt at selskapet nå fokuserer på å skalere teknikkene sine til fullskala LLM-er. Tilliten kommer fra nyere GPU-arkitekturer med betydelig høyere minnebåndbredde — en ressurs Kog mener fortsatt er fundamentalt underutnyttet av standard programvarestabeler . Selskapet har ikke annonsert en spesifikk dato, men denne demonstrasjonen blir bredt sett på som det avgjørende beviset for hele tesen.