Kog Inference Engine: 3 000 tokens/sekund på vanliga GPU:er – ingen specialhårdvara behövs

Den centrala innovationen är en monokernel – ett enda, ihållande GPU-resident program som kör hela LLM-avkodningspasset (prefill, decode, LM-head sampling) i ett svep, vilket eliminerar den per-token kernel-uppstartsomkostnad som plågar standardstackar . Standardinferensramverk som vLLM, SGLang och TensorRT-LLM startar en GPU-kernel per token, var och en med cirka 4,5 μs uppstartsomkostnad plus HBM-omstartsfördröjning . Kogs motor kringgår standardkommunikationsbibliotek och eliminerar gridsynkroniseringar som man mätt upp tar 35 % av per-token genereringstiden .

Påståendet om "30 gånger snabbare" är kalibrerat mot typiska avkodningshastigheter på 100–300 tokens/s för 2B–8B-modeller på högklassiga GPU:er, jämfört med Kogs 3 000 tokens/s .

Tech-preview-resultat och tydliga begränsningar

Resultat:

• 3 000+ utdatatokens per sekund per förfrågan på en enda 8× AMD MI300X-nod med Laneformer 2B-modellen (FP16, batchstorlek 1, ingen spekulativ avkodning)
• 2 100 utdatatokens/s per förfrågan på 8× NVIDIA H200 under samma förhållanden
• Så låg latens för en användare att den är lämplig för realtidsinteraktiv användning – demon gick live på playground.kog.ai
• Laneformer 2B-modellen uppnådde 45,1 % HumanEval+ och 51,6 % MBPP+ i girig avkodning

Begränsningar:

• Previewn kördes endast på en 2,3-miljarders modell (Laneformer 2B). Större modeller demonstrerades inte
• Den var en-förfrågan, en-användare – inte en batchad multi-användarproduktionsmiljö, och visade inte genomströmning under samtidig belastning
• Endast två GPU-typer stöddes: AMD MI300X och NVIDIA H200
• Med 11 anställda är företaget mycket litet för omfattningen av sin ambition

Målanvändningsfall och tidig affärsutveckling

Kog riktar in sig på tre huvudsakliga scenarier:

• Agentiska AI-arbetsflöden – företaget argumenterar att GPU:er är dåligt lämpade för de iterativa, låglatenskraven från AI-agenter, och att dess motor åtgärdar detta
• Realtids-LLM-inferens – kodningscopiloter, chattrobotar och applikationer där sub-100 ms per-token latens är viktig
• Självhostad företagsinferens – företag som redan äger datacenter-GPU:er och vill undvika att köpa dedikerad inferenshårdvara

På affärssidan rapporterade Kog 200+ konkreta affärskontakter i augusti 2026, enligt VD Delalleau . Tech-previewn hamnade på förstasidan av Hacker News i maj 2026 . Företaget har tagit in en såddrunda som medleddes av Varsity VC, vars partner Kamel Zeroual var Delalleaus medgrundare i hans första startup, Stribe .

Varför en fasta-tillståndsfysiker som blev hackare leder detta företag

VD Gaël Delalleau har en ovanlig bakgrund för AI-infrastruktur: fasta-tillståndsfysik och offensiv cybersäkerhet .

• Fasta-tillståndsfysik tränade honom att resonera från första principer om hur fysisk hårdvara beter sig på låg nivå – elektroner, minnesbandbredd, transistornivåbegränsningar. Hans team behandlar GPU-optimering som ett fysikproblem snarare än ett mjukvaruproblem
• Offensiv cybersäkerhet gav honom ett tankesätt av antagonistisk omvänd konstruktion. Kogs motor undersöker GPU:er på assembler- och binärnivå och hittar dold prestandareserv som standarddrivrutiner och bibliotek inte exponerar – ett klassiskt "angripartänk" tillämpat på hårdvaruprestanda
• Delalleau är inte en traditionell ML-forskare; hans första startup (Stribe, en TechCrunch50-alumn från 2009) var orelaterad till AI. Han beskriver sig själv som en förstaprincip-tänkare som designar algoritmer från hårdvaran och uppåt

Skalningsutmaningar: teamstorlek, chipstöd och modellskala

Kog står inför tre betydande skalningshinder:

• Teamstorlek: Med bara 11 anställda är det arbetsintensivt att portera sin djupt handoptimerade monokernel till nya GPU-arkitekturer
• Nytt chipstöd: Motorn stöder för närvarande endast AMD MI300X och NVIDIA H200. Varje ny GPU kräver manuell omvänd konstruktion på assembler nivå. VD Delalleau erkänner att detta är en flaskhals, även om han förväntar sig att nyare GPU-arkitekturer med högre minnesbandbredd blir enklare mål
• Modellskala: Att skala från 2-miljarders modeller till fullskaliga LLM:er (70B+) representerar vad Delalleau kallar "ett enormt kliv." Teknikerna som fungerar för en liten modell kanske inte trivialt utvidgas till mycket större minnes- och beräkningsfotavtryck

Den avgörande milstolpen: stora språkmodeller

Kogs nästa kritiska milstolpe är att bevisa att dess metod fungerar på stora språkmodeller (70B+ parametrar). VD Delalleau har sagt att företaget nu fokuserar på att skala sina tekniker till fullskaliga LLM:er. Förtroendet kommer från nyare GPU-arkitekturer med väsentligt högre minnesbandbredd – en resurs som Kog anser förblir fundamentalt underutnyttjad av standardmjukvarustackar . Företaget har inte annonserat ett specifikt datum, men denna demonstration ses allmänt som den avgörande bevispunkten för hela tesen.