30-mal schneller: Pariser Startup revolutioniert KI-Inferenz auf handelsüblichen GPUs

Die Kerninnovation ist ein Monokernel – ein einziges, dauerhaft auf der GPU laufendes Programm, das den gesamten LLM-Decode-Durchlauf (Prefill, Decode, LM-Head-Sampling) in einem Durchgang ausführt und so den Pro-Token-Kernel-Launch-Overhead eliminiert, der Standard-Stacks plagt . Standard-Inferenz-Frameworks wie vLLM, SGLang und TensorRT-LLM starten pro Token einen GPU-Kernel, wobei jeder einen Overhead von etwa 4,5 μs plus HBM-Neustart-Latenz verursacht . Kogs Engine umgeht Standard-Kommunikationsbibliotheken und eliminiert Grid-Synchronisationen, die nach eigenen Messungen 35 % der Pro-Token-Generierungszeit ausmachten .

Die Behauptung „30-mal schneller“ bezieht sich auf typische Decodiergeschwindigkeiten von 100–300 Tokens/s für 2B–8B-Modelle auf High-End-GPUs, verglichen mit Kogs 3.000 Tokens/s .

Ergebnisse der Tech Preview und klare Grenzen

Ergebnisse:

• Über 3.000 Ausgabe-Tokens pro Sekunde pro Anfrage auf einem einzelnen 8× AMD MI300X-Knoten mit dem Laneformer 2B-Modell (FP16, Batch-Größe 1, ohne spekulative Decodierung)
• 2.100 Ausgabe-Tokens/s pro Anfrage auf 8× NVIDIA H200 unter denselben Bedingungen
• Ausreichend niedrige Single-User-Latenz für Echtzeit-Interaktionen – die Demo ging live auf playground.kog.ai
• Das Laneformer 2B-Modell erreichte 45,1 % bei HumanEval+ und 51,6 % bei MBPP+ im Greedy-Decoding

Einschränkungen:

• Die Preview lief nur mit einem 2,3-Milliarden-Parameter-Modell (Laneformer 2B). Größere Modelle wurden nicht demonstriert
• Es handelte sich um Single-Request, Single-User – keinen gebatchten Multi-User-Produktionsbetrieb, und es wurde kein Durchsatz unter paralleler Last gezeigt
• Nur zwei GPU-Typen wurden unterstützt: AMD MI300X und NVIDIA H200
• Mit 11 Mitarbeitern ist das Unternehmen für den Umfang seiner Ambitionen sehr klein

Zielanwendungen und erste Geschäftserfolge

Kog zielt auf drei Hauptszenarien ab:

• Agentische KI-Workflows – das Unternehmen argumentiert, dass GPUs für die iterativen, latenzarmen Anforderungen von KI-Agenten schlecht geeignet sind und seine Engine dies behebt
• Echtzeit-LLM-Inferenz – Coding-Co-Piloten, Chatbots und Anwendungen, bei denen eine Latenz von unter 100 ms pro Token entscheidend ist
• Selbst gehostete Unternehmens-Inferenz – Unternehmen, die bereits Datacenter-GPUs besitzen und den Kauf dedizierter Inferenz-Hardware vermeiden möchten

Auf der Geschäftsseite meldete Kog laut CEO Delalleau bis August 2026 über 200 konkrete Geschäftskontakte . Die Tech Preview erreichte im Mai 2026 die Titelseite von Hacker News . Das Unternehmen hat eine Seed-Runde unter der Co-Leitung von Varsity VC abgeschlossen, dessen Partner Kamel Zeroual Delalleaus Mitgründer bei seinem ersten Startup Stribe war .

Warum ein Festkörperphysiker und Hacker dieses Unternehmen führt

CEO Gaël Delalleau bringt einen ungewöhnlichen Hintergrund in die KI-Infrastruktur ein: Festkörperphysik und offensive Cybersicherheit .

• Festkörperphysik lehrte ihn, aus ersten Prinzipien zu denken, wie physische Hardware auf niedriger Ebene funktioniert – Elektronen, Speicherbandbreite, Transistor-Level-Beschränkungen. Sein Team behandelt GPU-Optimierung als Physik-Problem und nicht als Software-Engineering-Problem
• Offensive Cybersicherheit gab ihm eine Mentalität des adversarialen Reverse-Engineerings. Kogs Engine untersucht GPUs auf Assembly- und Binärebene und findet versteckte Reserven, die Standardtreiber und -bibliotheken nicht freigeben – eine klassische „Angreiferdenkweise“, angewendet auf Hardware-Leistung
• Delalleau ist kein traditioneller ML-Forscher; sein erstes Startup (Stribe, ein TechCrunch50-Alumnus von 2009) war nicht KI-bezogen. Er beschreibt sich selbst als Denker aus ersten Prinzipien, der Algorithmen von der Hardware her entwirft

Skalierungsherausforderungen: Teamgröße, Chip-Unterstützung und Modellskalierung

Kog steht vor drei bedeutenden Skalierungshürden:

• Teamgröße: Mit nur 11 Mitarbeitern ist das Portieren des tief handoptimierten Monokernels auf neue GPU-Architekturen arbeitsintensiv
• Unterstützung neuer Chips: Die Engine unterstützt derzeit nur AMD MI300X und NVIDIA H200. Jede neue GPU erfordert manuelles Reverse-Engineering auf Assembly-Ebene. CEO Delalleau räumt ein, dass dies ein Engpass ist, erwartet aber, dass neuere GPU-Architekturen mit höherer Speicherbandbreite einfacher zu unterstützen sind
• Modellskalierung: Die Skalierung von 2B-Parameter-Modellen auf vollwertige LLMs (70B+) bezeichnet Delalleau als „einen riesigen Sprung.“ Die Techniken, die für ein kleines Modell funktionieren, lassen sich möglicherweise nicht trivial auf viel größere Speicher- und Rechenlasten übertragen

Der entscheidende Meilenstein: Große Sprachmodelle

Kogs nächster kritischer Meilenstein ist der Nachweis, dass der Ansatz bei großen Sprachmodellen (70B+ Parameter) funktioniert. CEO Delalleau hat erklärt, dass sich das Unternehmen nun darauf konzentriert, seine Techniken auf vollwertige LLMs zu skalieren. Das Vertrauen kommt von neueren GPU-Architekturen mit wesentlich höherer Speicherbandbreite – einer Ressource, die Kog zufolge von Standard-Software-Stapeln grundlegend ungenutzt bleibt . Das Unternehmen hat noch keinen genauen Termin genannt, aber diese Demonstration gilt weithin als der entscheidende Beweis für die gesamte These.