30x schnellere LLM-Inferenz ohne neue Hardware? Wie das französische Startup Kog GPU-Grenzen mit Software sprengt
Kog erzielt 3.000 Ausgabe Tokens pro Sekunde pro Anfrage auf einem 8× AMD MI300X Knoten – rein softwarebasiert, ohne Spezialhardware, Quantisierung oder spekulative Dekodierung – dank eines ko designeden Systems aus M... Die Kerninnovation „Delayed Tensor Parallelism (DTP)“ verzögert die GPU übergreifende All Reduce...
Veröffentlicht vonBearbeitet mit DeepSeek-V4-FlashBilder erstellt mit GPT Image 1.5
Kog erzielt 3.000 Ausgabe Tokens pro Sekunde pro Anfrage auf einem 8× AMD MI300X Knoten – rein softwarebasiert, ohne Spezialhardware, Quantisierung oder spekulative Dekodierung – dank eines ko designeden Systems aus M...
Die Kerninnovation „Delayed Tensor Parallelism (DTP)“ verzögert die GPU übergreifende All Reduce um 2 Schichten und überlappt sie mit Berechnungen, wodurch die typischen Wartezeiten der Standardmethode entfallen.
Kog muss seinen 30x Anspruch noch im großen Maßstab beweisen (bisher nur auf einem 2B Modell demonstriert); der nächste kritische Test ist eine 10x Beschleunigung bei einem branchenüblichen Modell in den kommenden Mon...
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
KI-Prompt
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog ist ein französisches Startup, das behauptet, durch einen tiefgreifenden, software-zentrierten Optimierungs-Stack bis zu 30x schnellere LLM-Inferenz auf vorhandenen Rechenzentrums-GPUs zu erreichen – und dabei eine eigene Modellarchitektur (Laneformer), eine Single-Kernel-Inferenz-Engine (KIE) und eine eigene Kommunikationsschicht (KCCL) ko-designiert, um jede Verzögerungsquelle im Dekodierungsdurchlauf zu beseitigen.
Anstatt eigene ASICs zu bauen oder exotische Hardware anzuschaffen, behandelt Kog drei Ebenen als ein einziges, ko-designiertes System:
Monokernel (ein einziger, permanenter CUDA-Kernel): Der gesamte LLM-Dekodierungsdurchlauf läuft als ein persistenter Kernel ohne Kernel-Starts oder Unterbrechungen zwischen den Schichten, was den GPU-Overhead vollständig eliminiert.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Wie lautet die kurze Antwort auf „30x schnellere LLM-Inferenz ohne neue Hardware? Wie das französische Startup Kog GPU-Grenzen mit Software sprengt“?
Kog erzielt 3.000 Ausgabe Tokens pro Sekunde pro Anfrage auf einem 8× AMD MI300X Knoten – rein softwarebasiert, ohne Spezialhardware, Quantisierung oder spekulative Dekodierung – dank eines ko designeden Systems aus M...
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Kog erzielt 3.000 Ausgabe Tokens pro Sekunde pro Anfrage auf einem 8× AMD MI300X Knoten – rein softwarebasiert, ohne Spezialhardware, Quantisierung oder spekulative Dekodierung – dank eines ko designeden Systems aus M... Die Kerninnovation „Delayed Tensor Parallelism (DTP)“ verzögert die GPU übergreifende All Reduce um 2 Schichten und überlappt sie mit Berechnungen, wodurch die typischen Wartezeiten der Standardmethode entfallen.
Was soll ich als nächstes in der Praxis tun?
Kog muss seinen 30x Anspruch noch im großen Maßstab beweisen (bisher nur auf einem 2B Modell demonstriert); der nächste kritische Test ist eine 10x Beschleunigung bei einem branchenüblichen Modell in den kommenden Mon...
30x schnellere LLM-Inferenz ohne neue Hardware? Wie das französische Startup Kog GPU-Grenzen mit Software sprengt
Kog erzielt 3.000 Ausgabe Tokens pro Sekunde pro Anfrage auf einem 8× AMD MI300X Knoten – rein softwarebasiert, ohne Spezialhardware, Quantisierung oder spekulative Dekodierung – dank eines ko designeden Systems aus M... Die Kerninnovation „Delayed Tensor Parallelism (DTP)“ verzögert die GPU übergreifende All Reduce...
Veröffentlicht vonBearbeitet mit DeepSeek-V4-FlashBilder erstellt mit GPT Image 1.5
Kog erzielt 3.000 Ausgabe Tokens pro Sekunde pro Anfrage auf einem 8× AMD MI300X Knoten – rein softwarebasiert, ohne Spezialhardware, Quantisierung oder spekulative Dekodierung – dank eines ko designeden Systems aus M...
Die Kerninnovation „Delayed Tensor Parallelism (DTP)“ verzögert die GPU übergreifende All Reduce um 2 Schichten und überlappt sie mit Berechnungen, wodurch die typischen Wartezeiten der Standardmethode entfallen.
Kog muss seinen 30x Anspruch noch im großen Maßstab beweisen (bisher nur auf einem 2B Modell demonstriert); der nächste kritische Test ist eine 10x Beschleunigung bei einem branchenüblichen Modell in den kommenden Mon...
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
KI-Prompt
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog ist ein französisches Startup, das behauptet, durch einen tiefgreifenden, software-zentrierten Optimierungs-Stack bis zu 30x schnellere LLM-Inferenz auf vorhandenen Rechenzentrums-GPUs zu erreichen – und dabei eine eigene Modellarchitektur (Laneformer), eine Single-Kernel-Inferenz-Engine (KIE) und eine eigene Kommunikationsschicht (KCCL) ko-designiert, um jede Verzögerungsquelle im Dekodierungsdurchlauf zu beseitigen.
Anstatt eigene ASICs zu bauen oder exotische Hardware anzuschaffen, behandelt Kog drei Ebenen als ein einziges, ko-designiertes System:
Monokernel (ein einziger, permanenter CUDA-Kernel): Der gesamte LLM-Dekodierungsdurchlauf läuft als ein persistenter Kernel ohne Kernel-Starts oder Unterbrechungen zwischen den Schichten, was den GPU-Overhead vollständig eliminiert.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Wie lautet die kurze Antwort auf „30x schnellere LLM-Inferenz ohne neue Hardware? Wie das französische Startup Kog GPU-Grenzen mit Software sprengt“?
Kog erzielt 3.000 Ausgabe Tokens pro Sekunde pro Anfrage auf einem 8× AMD MI300X Knoten – rein softwarebasiert, ohne Spezialhardware, Quantisierung oder spekulative Dekodierung – dank eines ko designeden Systems aus M...
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Kog erzielt 3.000 Ausgabe Tokens pro Sekunde pro Anfrage auf einem 8× AMD MI300X Knoten – rein softwarebasiert, ohne Spezialhardware, Quantisierung oder spekulative Dekodierung – dank eines ko designeden Systems aus M... Die Kerninnovation „Delayed Tensor Parallelism (DTP)“ verzögert die GPU übergreifende All Reduce um 2 Schichten und überlappt sie mit Berechnungen, wodurch die typischen Wartezeiten der Standardmethode entfallen.
Was soll ich als nächstes in der Praxis tun?
Kog muss seinen 30x Anspruch noch im großen Maßstab beweisen (bisher nur auf einem 2B Modell demonstriert); der nächste kritische Test ist eine 10x Beschleunigung bei einem branchenüblichen Modell in den kommenden Mon...
Delayed Tensor Parallelism (DTP): Standard-Tensor-Parallelismus blockiert bei jeder Schicht auf einer All-Reduce. Kog verzögert jede All-Reduce um δ=2 Schichten und überlappt die Kommunikation mit Berechnungen und dem Streamen von Gewichten, sodass die GPUs nie auf Daten warten müssen.
Lane-Strukturierte Transformer-Architektur: Laneformer unterteilt das Modell in 8 parallele „Spuren“ (Lanes), die auf den Kommunikationsplan von DTP abgestimmt sind, sodass die Engine den Tensor-Parallelismus-Overhead perfekt verbergen kann.
Eigene Kommunikationsschicht (KCCL): Ersetzt das standardmäßige NCCL/RCCL, um eine latenzärmere, linear skalierende Tensor-Parallelität über GPUs hinweg zu erreichen.
Assembler-Level-Optimierung: Kog arbeitet auf C++/Assembler-Ebene, anstatt lediglich Optimierungen auf CUDA oder ROCm zu stapeln, und zielt auf jeden einzelnen Takt der GPU-Speicherbandbreite und Rechenauslastung ab.
Laneformer 2B: Demonstrierte Ergebnisse
Kog hat Laneformer 2B (2,3 Milliarden Parameter) als Open-Source-Modell veröffentlicht – ein instruktionsoptimiertes Codier-Modell, das auf Dekodierungsgeschwindigkeit statt auf rohe Benchmark-Werte ausgelegt ist. Diese Geschwindigkeiten sind für ein Modell dieser Größe etwa 10x schneller als der typische vLLM-Durchsatz.
Metrik
Ergebnis
Dekodierungsgeschwindigkeit auf 8× AMD MI300X
3.000 Ausgabe-Tokens/s pro Anfrage (FP16, Batch-Größe 1)
Dekodierungsgeschwindigkeit auf 8× NVIDIA H200
2.100 Ausgabe-Tokens/s pro Anfrage (FP16, Batch-Größe 1)
HumanEval+ (greedy)
45,1 %
MBPP+ (greedy)
51,6 %
Methode
Keine Quantisierung, keine spekulative Dekodierung, kein Pruning
Nächste Meilensteine für die Skalierung
Die öffentliche Technologievorschau von Kog läuft auf einem 2B-Modell. Das Unternehmen arbeitet nun daran, seine Techniken zu skalieren:
Kurzfristiges Ziel: Eine 10x Geschwindigkeitsverbesserung bei einem großen Industriemodell (z. B. 70B+ dicht oder MoE) demonstrieren. Das Unternehmen erwartet, dies in den kommenden Monaten zu erreichen.
Langfristige Ambition: Zu zeigen, dass der Ansatz 30x schnellere Inferenz bei großen Frontier-MoE-Modellen liefern kann, ähnlich schnell wie bei Laneformer 2B. Kog hat öffentlich argumentiert, dass seine DTP- und Monokernel-Techniken gut auf MoE-Architekturen skalieren.
Seit dem Start im Mai 2026 hat Kog eigenen Angaben zufolge über 200 konkrete Geschäftsanfragen generiert und konzentriert sich nun vollständig auf die Unterstützung größerer Modelle, um die Unternehmensnachfrage zu bedienen.
Vergleich mit Wettbewerbern
ZML – Ebenfalls ein französisches KI-Startup (unterstützt von Yann LeCun), verfolgt ZML einen anderen Ansatz: Es veröffentlichte LLMD, eine kostenlose Inferenz-Engine, die viele Open-Source-Modelle auf einer Vielzahl von Chips (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) mit einem einheitlichen, compilerbasierten Ansatz ausführen kann. ZML priorisiert Hardware-Portabilität und Multi-Chip-Unterstützung statt extrem niedriger Einzelanfrage-Latenz. Kog hingegen ist gezielt auf maximale Latenzreduzierung auf bestimmten High-End-Rechenzentrums-GPUs (MI300X, H200) durch tiefgreifende, hardwarespezifische Optimierung ausgelegt.
Cerebras – Verwendet eine grundlegend andere, hardware-zentrierte Strategie: die Wafer-Scale Engine (WSE-3), ein massiver Einzelchip, der die Notwendigkeit einer Multi-GPU-Kommunikation überflüssig macht. Cerebras erreicht ~2.100 Tokens/s auf Llama 3.1 70B (Batch 1) auf seiner WSE-3-Hardware – bemerkenswerterweise ist diese Geschwindigkeit für ein 70B-Modell, nicht für ein 2B-Modell.
Dimension
Kog
Cerebras
Ansatz
Nur Software auf Standard-GPUs
Maßgeschneiderte Wafer-Scale-Hardware
Bestes Demo
3.000 Tok/s auf einem 2B-Modell
~2.100 Tok/s auf 70B-Modell
Latenzanspruch
Ziel: 30x bei Frontier-Modellen
~4x vs. H100 bei 70B-Modellen
Hardwarekosten
Nutzt vorhandene GPU-Infrastruktur
Erfordert proprietäre CS-3-Systeme
Reifegrad
Frühe Phase (Tech-Vorschau, nur 2B)
Produktionsreif für mehrere offene Modelle
Wichtiger Vorbehalt: Kogs 3.000 Tok/s-Ergebnis wurde mit einem 2,3B-Modell erzielt – einer Größenordnung kleiner als die 70B-Modelle, die Cerebras mit vergleichbaren Geschwindigkeiten ausliefert. Kog muss seinen 30x-Anspruch im großen Maßstab noch unter Beweis stellen. Der nächste Meilenstein des Unternehmens (10x bei einem großen Industriemodell) wird der entscheidende Beweis sein.
Delayed Tensor Parallelism (DTP): Standard-Tensor-Parallelismus blockiert bei jeder Schicht auf einer All-Reduce. Kog verzögert jede All-Reduce um δ=2 Schichten und überlappt die Kommunikation mit Berechnungen und dem Streamen von Gewichten, sodass die GPUs nie auf Daten warten müssen.
Lane-Strukturierte Transformer-Architektur: Laneformer unterteilt das Modell in 8 parallele „Spuren“ (Lanes), die auf den Kommunikationsplan von DTP abgestimmt sind, sodass die Engine den Tensor-Parallelismus-Overhead perfekt verbergen kann.
Eigene Kommunikationsschicht (KCCL): Ersetzt das standardmäßige NCCL/RCCL, um eine latenzärmere, linear skalierende Tensor-Parallelität über GPUs hinweg zu erreichen.
Assembler-Level-Optimierung: Kog arbeitet auf C++/Assembler-Ebene, anstatt lediglich Optimierungen auf CUDA oder ROCm zu stapeln, und zielt auf jeden einzelnen Takt der GPU-Speicherbandbreite und Rechenauslastung ab.
Laneformer 2B: Demonstrierte Ergebnisse
Kog hat Laneformer 2B (2,3 Milliarden Parameter) als Open-Source-Modell veröffentlicht – ein instruktionsoptimiertes Codier-Modell, das auf Dekodierungsgeschwindigkeit statt auf rohe Benchmark-Werte ausgelegt ist. Diese Geschwindigkeiten sind für ein Modell dieser Größe etwa 10x schneller als der typische vLLM-Durchsatz.
Metrik
Ergebnis
Dekodierungsgeschwindigkeit auf 8× AMD MI300X
3.000 Ausgabe-Tokens/s pro Anfrage (FP16, Batch-Größe 1)
Dekodierungsgeschwindigkeit auf 8× NVIDIA H200
2.100 Ausgabe-Tokens/s pro Anfrage (FP16, Batch-Größe 1)
HumanEval+ (greedy)
45,1 %
MBPP+ (greedy)
51,6 %
Methode
Keine Quantisierung, keine spekulative Dekodierung, kein Pruning
Nächste Meilensteine für die Skalierung
Die öffentliche Technologievorschau von Kog läuft auf einem 2B-Modell. Das Unternehmen arbeitet nun daran, seine Techniken zu skalieren:
Kurzfristiges Ziel: Eine 10x Geschwindigkeitsverbesserung bei einem großen Industriemodell (z. B. 70B+ dicht oder MoE) demonstrieren. Das Unternehmen erwartet, dies in den kommenden Monaten zu erreichen.
Langfristige Ambition: Zu zeigen, dass der Ansatz 30x schnellere Inferenz bei großen Frontier-MoE-Modellen liefern kann, ähnlich schnell wie bei Laneformer 2B. Kog hat öffentlich argumentiert, dass seine DTP- und Monokernel-Techniken gut auf MoE-Architekturen skalieren.
Seit dem Start im Mai 2026 hat Kog eigenen Angaben zufolge über 200 konkrete Geschäftsanfragen generiert und konzentriert sich nun vollständig auf die Unterstützung größerer Modelle, um die Unternehmensnachfrage zu bedienen.
Vergleich mit Wettbewerbern
ZML – Ebenfalls ein französisches KI-Startup (unterstützt von Yann LeCun), verfolgt ZML einen anderen Ansatz: Es veröffentlichte LLMD, eine kostenlose Inferenz-Engine, die viele Open-Source-Modelle auf einer Vielzahl von Chips (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) mit einem einheitlichen, compilerbasierten Ansatz ausführen kann. ZML priorisiert Hardware-Portabilität und Multi-Chip-Unterstützung statt extrem niedriger Einzelanfrage-Latenz. Kog hingegen ist gezielt auf maximale Latenzreduzierung auf bestimmten High-End-Rechenzentrums-GPUs (MI300X, H200) durch tiefgreifende, hardwarespezifische Optimierung ausgelegt.
Cerebras – Verwendet eine grundlegend andere, hardware-zentrierte Strategie: die Wafer-Scale Engine (WSE-3), ein massiver Einzelchip, der die Notwendigkeit einer Multi-GPU-Kommunikation überflüssig macht. Cerebras erreicht ~2.100 Tokens/s auf Llama 3.1 70B (Batch 1) auf seiner WSE-3-Hardware – bemerkenswerterweise ist diese Geschwindigkeit für ein 70B-Modell, nicht für ein 2B-Modell.
Dimension
Kog
Cerebras
Ansatz
Nur Software auf Standard-GPUs
Maßgeschneiderte Wafer-Scale-Hardware
Bestes Demo
3.000 Tok/s auf einem 2B-Modell
~2.100 Tok/s auf 70B-Modell
Latenzanspruch
Ziel: 30x bei Frontier-Modellen
~4x vs. H100 bei 70B-Modellen
Hardwarekosten
Nutzt vorhandene GPU-Infrastruktur
Erfordert proprietäre CS-3-Systeme
Reifegrad
Frühe Phase (Tech-Vorschau, nur 2B)
Produktionsreif für mehrere offene Modelle
Wichtiger Vorbehalt: Kogs 3.000 Tok/s-Ergebnis wurde mit einem 2,3B-Modell erzielt – einer Größenordnung kleiner als die 70B-Modelle, die Cerebras mit vergleichbaren Geschwindigkeiten ausliefert. Kog muss seinen 30x-Anspruch im großen Maßstab noch unter Beweis stellen. Der nächste Meilenstein des Unternehmens (10x bei einem großen Industriemodell) wird der entscheidende Beweis sein.
