30x schnellere LLM-Inferenz ohne neue Hardware? Wie das französische Startup Kog GPU-Grenzen mit Software sprengt

Kog ist ein französisches Startup, das behauptet, durch einen tiefgreifenden, software-zentrierten Optimierungs-Stack bis zu 30x schnellere LLM-Inferenz auf vorhandenen Rechenzentrums-GPUs zu erreichen – und dabei eine eigene Modellarchitektur (Laneformer), eine Single-Kernel-Inferenz-Engine (KIE) und eine eigene Kommunikationsschicht (KCCL) ko-designiert, um jede Verzögerungsquelle im Dekodierungsdurchlauf zu beseitigen.

Anstatt eigene ASICs zu bauen oder exotische Hardware anzuschaffen, behandelt Kog drei Ebenen als ein einziges, ko-designiertes System:

• Monokernel (ein einziger, permanenter CUDA-Kernel): Der gesamte LLM-Dekodierungsdurchlauf läuft als ein persistenter Kernel ohne Kernel-Starts oder Unterbrechungen zwischen den Schichten, was den GPU-Overhead vollständig eliminiert.
• Delayed Tensor Parallelism (DTP): Standard-Tensor-Parallelismus blockiert bei jeder Schicht auf einer All-Reduce. Kog verzögert jede All-Reduce um δ=2 Schichten und überlappt die Kommunikation mit Berechnungen und dem Streamen von Gewichten, sodass die GPUs nie auf Daten warten müssen.
• Lane-Strukturierte Transformer-Architektur: Laneformer unterteilt das Modell in 8 parallele „Spuren“ (Lanes), die auf den Kommunikationsplan von DTP abgestimmt sind, sodass die Engine den Tensor-Parallelismus-Overhead perfekt verbergen kann.
• Eigene Kommunikationsschicht (KCCL): Ersetzt das standardmäßige NCCL/RCCL, um eine latenzärmere, linear skalierende Tensor-Parallelität über GPUs hinweg zu erreichen.
• Assembler-Level-Optimierung: Kog arbeitet auf C++/Assembler-Ebene, anstatt lediglich Optimierungen auf CUDA oder ROCm zu stapeln, und zielt auf jeden einzelnen Takt der GPU-Speicherbandbreite und Rechenauslastung ab.

Laneformer 2B: Demonstrierte Ergebnisse

Kog hat Laneformer 2B (2,3 Milliarden Parameter) als Open-Source-Modell veröffentlicht – ein instruktionsoptimiertes Codier-Modell, das auf Dekodierungsgeschwindigkeit statt auf rohe Benchmark-Werte ausgelegt ist. Diese Geschwindigkeiten sind für ein Modell dieser Größe etwa 10x schneller als der typische vLLM-Durchsatz.

Metrik	Ergebnis
Dekodierungsgeschwindigkeit auf 8× AMD MI300X	3.000 Ausgabe-Tokens/s pro Anfrage (FP16, Batch-Größe 1)
Dekodierungsgeschwindigkeit auf 8× NVIDIA H200	2.100 Ausgabe-Tokens/s pro Anfrage (FP16, Batch-Größe 1)
HumanEval+ (greedy)	45,1 %
MBPP+ (greedy)	51,6 %
Methode	Keine Quantisierung, keine spekulative Dekodierung, kein Pruning

Nächste Meilensteine für die Skalierung

Die öffentliche Technologievorschau von Kog läuft auf einem 2B-Modell. Das Unternehmen arbeitet nun daran, seine Techniken zu skalieren:

• Kurzfristiges Ziel: Eine 10x Geschwindigkeitsverbesserung bei einem großen Industriemodell (z. B. 70B+ dicht oder MoE) demonstrieren. Das Unternehmen erwartet, dies in den kommenden Monaten zu erreichen.
• Langfristige Ambition: Zu zeigen, dass der Ansatz 30x schnellere Inferenz bei großen Frontier-MoE-Modellen liefern kann, ähnlich schnell wie bei Laneformer 2B. Kog hat öffentlich argumentiert, dass seine DTP- und Monokernel-Techniken gut auf MoE-Architekturen skalieren.
• Seit dem Start im Mai 2026 hat Kog eigenen Angaben zufolge über 200 konkrete Geschäftsanfragen generiert und konzentriert sich nun vollständig auf die Unterstützung größerer Modelle, um die Unternehmensnachfrage zu bedienen.

Vergleich mit Wettbewerbern

ZML – Ebenfalls ein französisches KI-Startup (unterstützt von Yann LeCun), verfolgt ZML einen anderen Ansatz: Es veröffentlichte LLMD, eine kostenlose Inferenz-Engine, die viele Open-Source-Modelle auf einer Vielzahl von Chips (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) mit einem einheitlichen, compilerbasierten Ansatz ausführen kann. ZML priorisiert Hardware-Portabilität und Multi-Chip-Unterstützung statt extrem niedriger Einzelanfrage-Latenz. Kog hingegen ist gezielt auf maximale Latenzreduzierung auf bestimmten High-End-Rechenzentrums-GPUs (MI300X, H200) durch tiefgreifende, hardwarespezifische Optimierung ausgelegt.

Cerebras – Verwendet eine grundlegend andere, hardware-zentrierte Strategie: die Wafer-Scale Engine (WSE-3), ein massiver Einzelchip, der die Notwendigkeit einer Multi-GPU-Kommunikation überflüssig macht. Cerebras erreicht ~2.100 Tokens/s auf Llama 3.1 70B (Batch 1) auf seiner WSE-3-Hardware – bemerkenswerterweise ist diese Geschwindigkeit für ein 70B-Modell, nicht für ein 2B-Modell.

Dimension	Kog	Cerebras
Ansatz	Nur Software auf Standard-GPUs	Maßgeschneiderte Wafer-Scale-Hardware
Bestes Demo	3.000 Tok/s auf einem 2B-Modell	~2.100 Tok/s auf 70B-Modell
Latenzanspruch	Ziel: 30x bei Frontier-Modellen	~4x vs. H100 bei 70B-Modellen
Hardwarekosten	Nutzt vorhandene GPU-Infrastruktur	Erfordert proprietäre CS-3-Systeme
Reifegrad	Frühe Phase (Tech-Vorschau, nur 2B)	Produktionsreif für mehrere offene Modelle

Wichtiger Vorbehalt: Kogs 3.000 Tok/s-Ergebnis wurde mit einem 2,3B-Modell erzielt – einer Größenordnung kleiner als die 70B-Modelle, die Cerebras mit vergleichbaren Geschwindigkeiten ausliefert. Kog muss seinen 30x-Anspruch im großen Maßstab noch unter Beweis stellen. Der nächste Meilenstein des Unternehmens (10x bei einem großen Industriemodell) wird der entscheidende Beweis sein.