Kog AI: 3.000 tokens per seconde geperst uit standaard datacenter-GPU's

De AI-industrie heeft miljarden gestoken in de jacht op snellere chips. Het Parijse Kog AI wedt dat ze het verkeerde probleem oplosten — en de technische preview van mei 2026 suggereert dat die weddenschap wel eens zou kunnen kloppen.

Kog (Kog AI) is een Franse AI-infrastructuur-startup, opgericht in 2023 door Gaël Delalleau. Het kernproduct is de Kog Inference Engine (KIE), een software-only inferentie-engine die LLM-inferentie op standaard datacenter-GPU's dramatisch versnelt — zonder dat er speciaal ontworpen chips nodig zijn . Het bedrijf kwam in mei 2025 uit stealth en lanceerde op 28 mei 2026 een openbare technische preview .

Software versus Silicium: Kog's Tegengeluid tegen Speciale Hardware

Cerebras bouwt speciaal ontworpen waferschaal-chips. Groq en SambaNova volgen een vergelijkbare hardware-first route. Kog slaat de tegenovergestelde weg in: de enorme prestatie-ruimte in bestaande GPU's wordt onbenut gelaten door inefficiënte software-stacks, en diepe software-optimalisatie kan de snelheid van speciale hardware evenaren zonder nieuwe chips .

De kerninnovatie is een monokernel — een enkel, permanent GPU-programma dat de volledige LLM-decode-slag (prefill, decode, LM-head sampling) in één keer uitvoert, waarmee de per-token kernel-lancerings-overhead die standaard stacks plaagt, wordt geëlimineerd . Standaard inferentie-frameworks zoals vLLM, SGLang en TensorRT-LLM starten één GPU-kernel per token, elk met een overhead van ongeveer 4,5 μs plus HBM-herstartlatentie . Kog's engine omzeilt standaard communicatiebibliotheken en elimineert gridsynchronisaties waarvan het meette dat ze 35% van de generatietijd per token opslokten .

De bewering van "30x sneller" is gekalibreerd op typische decodesnelheden van 100–300 tokens/s voor 2B–8B modellen op high-end GPU's, vergeleken met Kog's 3.000 tokens/s .

Resultaten van de Technische Preview en Duidelijke Beperkingen

Resultaten:

• 3.000+ output tokens per seconde per verzoek op een enkele 8× AMD MI300X node met het Laneformer 2B model (FP16, batch size 1, geen speculatieve decoding)
• 2.100 output tokens/s per verzoek op 8× NVIDIA H200 onder dezelfde omstandigheden
• De latentie voor één gebruiker is laag genoeg voor real-time interactief gebruik — de demo was live op playground.kog.ai

Beperkingen:

• De preview draaide alleen op een 2,3 miljard-parameter model (Laneformer 2B). Grotere modellen werden niet getoond
• Het betrof single-request, single-user — geen gebatchte multi-user productie-opstelling. Er werd geen doorvoer onder gelijktijdige belasting getoond
• Slechts twee GPU-typen werden ondersteund: AMD MI300X en NVIDIA H200
• Met 11 werknemers is het bedrijf erg klein voor de omvang van zijn ambitie

Doeltoepassingen en Vroege Zakelijke Tractie

Kog richt zich op drie hoofdscenario's:

• Agentische AI-workflows — het bedrijf stelt dat GPU's slecht geschikt zijn voor de iteratieve, lage-latentie-eisen van AI-agenten, en dat zijn engine dit verhelpt
• Real-time LLM-inferentie — codeer-copilots, chatbots en toepassingen waar latentie onder de 100 ms per token van belang is
• Self-hosted enterprise inferentie — bedrijven die al datacenter-GPU's bezitten en de aanschaf van speciale inferentiehardware willen vermijden

Aan de zakelijke kant meldde Kog 200+ tastbare zakelijke leads in augustus 2026, aldus CEO Delalleau . De technische preview haalde in mei 2026 de voorpagina van Hacker News . Het bedrijf haalde een seed-ronde op, mede geleid door Varsity VC, wiens partner Kamel Zeroual Delalleau's mede-oprichter was bij zijn eerste startup, Stribe .

Waarom een Vaste-Stoffysicus en Hacker dit Bedrijf Leidt

CEO Gaël Delalleau brengt een ongebruikelijke achtergrond mee naar AI-infrastructuur: vaste-stoffysica en offensieve cybersecurity .

• Vaste-stoffysica leerde hem om vanuit eerste principes te redeneren over hoe fysieke hardware zich op een laag niveau gedraagt — elektronen, geheugenbandbreedte, transistorniveau-beperkingen. Zijn team behandelt GPU-optimalisatie als een natuurkundig probleem in plaats van een software-engineeringprobleem
• Offensieve cybersecurity gaf hem een mentaliteit van adversarial reverse-engineering. Kog's engine onderzoekt GPU's op assembly- en binaire niveau's, op zoek naar verborgen prestatie-ruimte die standaard drivers en bibliotheken niet blootleggen — een klassieke "aanvallersmentaliteit" toegepast op hardwareprestaties
• Delalleau is geen traditionele ML-onderzoeker; zijn eerste startup (Stribe, een TechCrunch50 2009-alumnus) had niets met AI te maken. Hij beschrijft zichzelf als een eerst-principes denker die algoritmen ontwerpt vanuit de hardware

Schalingsuitdagingen: Teamgrootte, Chipondersteuning en Modelschaal

Kog staat voor drie belangrijke schalingshindernissen:

• Teamgrootte: Met slechts 11 werknemers is het porteren van de diep handgeoptimaliseerde monokernel naar nieuwe GPU-architecturen arbeidsintensief
• Ondersteuning voor nieuwe chips: De engine ondersteunt momenteel alleen AMD MI300X en NVIDIA H200. Elke nieuwe GPU vereist handmatige reverse-engineering op assembly-niveau. CEO Delalleau erkent dat dit een bottleneck is, hoewel hij verwacht dat nieuwere GPU-architecturen met hogere geheugenbandbreedte eenvoudiger te targeten zijn
• Modelschaal: Opschalen van 2B-parameter modellen naar volwaardige LLM's (70B+) noemt Delalleau "een enorme sprong." De technieken die werken voor een klein model zijn mogelijk niet triviaal uit te breiden naar veel grotere geheugen- en rekenvoetafdrukken

Het Mijlpaal-moment: Grote Taalmodellen

Kog's volgende kritische mijlpaal is het bewijzen dat zijn aanpak werkt op grote taalmodellen (70B+ parameters). CEO Delalleau heeft verklaard dat het bedrijf zich nu richt op het opschalen van zijn technieken naar volwaardige LLM's. Het vertrouwen komt van nieuwere GPU-architecturen met aanzienlijk hogere geheugenbandbreedte — een bron waarvan Kog gelooft dat deze fundamenteel onderbenut blijft door standaard software-stacks . Het bedrijf heeft geen specifieke datum aangekondigd, maar deze demonstratie wordt algemeen beschouwd als het cruciale bewijs voor de hele stelling.