Kog contro il collo di bottiglia delle GPU: il software da solo può moltiplicare per 30 la velocità di inferenza dei LLM
Kog raggiunge 3.000 token al secondo per richiesta su un nodo 8× AMD MI300X usando solo un motore software, nessun hardware custom, nessuna quantizzazione e nessun decoding speculativo, co progettando un modello perso... L'innovazione chiave, il Delayed Tensor Parallelism (DTP), ritarda l'all reduce tra GPU di 2 lay...
Pubblicato daModificato con DeepSeek-V4-FlashImmagini generate con GPT Image 1.5
Kog raggiunge 3.000 token al secondo per richiesta su un nodo 8× AMD MI300X usando solo un motore software, nessun hardware custom, nessuna quantizzazione e nessun decoding speculativo, co progettando un modello perso...
L'innovazione chiave, il Delayed Tensor Parallelism (DTP), ritarda l'all reduce tra GPU di 2 layer per sovrapporre comunicazione e calcolo, eliminando i tempi morti che affliggono il tensor parallelism standard.
Il 3.000 tok/s è stato dimostrato su un modello da 2,3 miliardi di parametri (Laneformer 2B).
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog è una startup francese che afferma di poter ottenere un'inferenza LLM fino a 30 volte più veloce sulle GPU da datacenter esistenti, attraverso un stack software profondamente ottimizzato. L'azienda ha co-progettato una architettura di modello personalizzata (Laneformer), un motore di inferenza a kernel unico (KIE) e un layer di comunicazione custom (KCCL) per eliminare ogni fonte di stallo nel loop di decoding.
Invece di costruire ASIC personalizzati o acquisire hardware esotico, Kog tratta tre livelli come un unico sistema co-progettato:
Monokernel (kernel CUDA persistente unico): L'intero passaggio di decoding del LLM viene eseguito come un unico kernel persistente, senza lanci di kernel o interruzioni tra i layer, eliminando completamente l'overhead di lancio della GPU.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Kog contro il collo di bottiglia delle GPU: il software da solo può moltiplicare per 30 la velocità di inferenza dei LLM"?
Kog raggiunge 3.000 token al secondo per richiesta su un nodo 8× AMD MI300X usando solo un motore software, nessun hardware custom, nessuna quantizzazione e nessun decoding speculativo, co progettando un modello perso...
What are the key points to validate first?
Kog raggiunge 3.000 token al secondo per richiesta su un nodo 8× AMD MI300X usando solo un motore software, nessun hardware custom, nessuna quantizzazione e nessun decoding speculativo, co progettando un modello perso... L'innovazione chiave, il Delayed Tensor Parallelism (DTP), ritarda l'all reduce tra GPU di 2 layer per sovrapporre comunicazione e calcolo, eliminando i tempi morti che affliggono il tensor parallelism standard.
What should I do next in practice?
Il 3.000 tok/s è stato dimostrato su un modello da 2,3 miliardi di parametri (Laneformer 2B).
Kog contro il collo di bottiglia delle GPU: il software da solo può moltiplicare per 30 la velocità di inferenza dei LLM
Kog raggiunge 3.000 token al secondo per richiesta su un nodo 8× AMD MI300X usando solo un motore software, nessun hardware custom, nessuna quantizzazione e nessun decoding speculativo, co progettando un modello perso... L'innovazione chiave, il Delayed Tensor Parallelism (DTP), ritarda l'all reduce tra GPU di 2 lay...
Pubblicato daModificato con DeepSeek-V4-FlashImmagini generate con GPT Image 1.5
Kog raggiunge 3.000 token al secondo per richiesta su un nodo 8× AMD MI300X usando solo un motore software, nessun hardware custom, nessuna quantizzazione e nessun decoding speculativo, co progettando un modello perso...
L'innovazione chiave, il Delayed Tensor Parallelism (DTP), ritarda l'all reduce tra GPU di 2 layer per sovrapporre comunicazione e calcolo, eliminando i tempi morti che affliggono il tensor parallelism standard.
Il 3.000 tok/s è stato dimostrato su un modello da 2,3 miliardi di parametri (Laneformer 2B).
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog è una startup francese che afferma di poter ottenere un'inferenza LLM fino a 30 volte più veloce sulle GPU da datacenter esistenti, attraverso un stack software profondamente ottimizzato. L'azienda ha co-progettato una architettura di modello personalizzata (Laneformer), un motore di inferenza a kernel unico (KIE) e un layer di comunicazione custom (KCCL) per eliminare ogni fonte di stallo nel loop di decoding.
Invece di costruire ASIC personalizzati o acquisire hardware esotico, Kog tratta tre livelli come un unico sistema co-progettato:
Monokernel (kernel CUDA persistente unico): L'intero passaggio di decoding del LLM viene eseguito come un unico kernel persistente, senza lanci di kernel o interruzioni tra i layer, eliminando completamente l'overhead di lancio della GPU.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Kog contro il collo di bottiglia delle GPU: il software da solo può moltiplicare per 30 la velocità di inferenza dei LLM"?
Kog raggiunge 3.000 token al secondo per richiesta su un nodo 8× AMD MI300X usando solo un motore software, nessun hardware custom, nessuna quantizzazione e nessun decoding speculativo, co progettando un modello perso...
What are the key points to validate first?
Kog raggiunge 3.000 token al secondo per richiesta su un nodo 8× AMD MI300X usando solo un motore software, nessun hardware custom, nessuna quantizzazione e nessun decoding speculativo, co progettando un modello perso... L'innovazione chiave, il Delayed Tensor Parallelism (DTP), ritarda l'all reduce tra GPU di 2 layer per sovrapporre comunicazione e calcolo, eliminando i tempi morti che affliggono il tensor parallelism standard.
What should I do next in practice?
Il 3.000 tok/s è stato dimostrato su un modello da 2,3 miliardi di parametri (Laneformer 2B).
Delayed Tensor Parallelism (DTP): Il tensor parallelism standard si blocca su un all-reduce ad ogni layer. Kog ritarda ogni all-reduce di δ=2 layer, sovrapponendo la comunicazione con il calcolo e lo streaming dei pesi, così le GPU non restano mai in attesa di dati.
Architettura Transformer a corsie (Laneformer): Laneformer divide il modello in 8 "corsie" parallele che si allineano con lo schedule di comunicazione del DTP, permettendo al motore di nascondere perfettamente l'overhead del tensor parallelism.
Layer di comunicazione custom (KCCL): Sostituisce NCCL/RCCL standard per ottenere una latenza inferiore e un tensor parallelism a scalabilità lineare tra le GPU.
Ottimizzazione a livello assembly: Kog lavora a livello C++/assembly, invece di accumulare ottimizzazioni su CUDA o ROCm, mirando a ogni ciclo di utilizzo della larghezza di banda della memoria GPU e del calcolo.
Laneformer 2B: Risultati dimostrati
Kog ha rilasciato come open source Laneformer 2B (2,3 miliardi di parametri), un modello di codifica istruito progettato per la velocità di decoding piuttosto che per un punteggio grezzo nei benchmark. Queste velocità sono circa 10 volte superiori alla produttività tipica di vLLM per un modello di queste dimensioni.
Metrica
Risultato
Velocità di decoding su 8× AMD MI300X
3.000 token/s in output per richiesta (FP16, batch size 1)
Velocità di decoding su 8× NVIDIA H200
2.100 token/s in output per richiesta (FP16, batch size 1)
L'anteprima tecnica pubblica di Kog funziona su un modello da 2 miliardi di parametri. L'azienda ora sta correndo per scalare le sue tecniche:
Obiettivo a breve termine: Dimostrare un miglioramento di velocità 10x su un modello industriale di grandi dimensioni (ad esempio, 70B+ dense o MoE). L'azienda prevede di raggiungere questo traguardo nei prossimi mesi.
Ambizione a lungo termine: Mostrare che il suo approccio può fornire un'inferenza 30x più veloce su grandi modelli MoE all'avanguardia a velocità simili a quelle ottenute su Laneformer 2B. Kog ha sostenuto pubblicamente che le sue tecniche DTP e monokernel si adattano favorevolmente alle architetture MoE.
Dal lancio del maggio 2026, Kog afferma di aver generato oltre 200 contatti commerciali concreti ed è completamente concentrata sul supporto a modelli più grandi per soddisfare la domanda aziendale.
Confronto con i concorrenti
ZML — Anche questa una startup francese (sostenuta da Yann LeCun), ZML adotta un approccio diverso: ha rilasciato LLMD, un motore di inferenza gratuito che permette di eseguire molti modelli open-source su una varietà di chip (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) usando un approccio unificato basato su compilatore. ZML dà priorità alla portabilità hardware e al supporto multi-chip piuttosto che alla latenza estrema per singola richiesta. Kog, al contrario, è costruito appositamente per la massima riduzione della latenza su specifiche GPU da datacenter di fascia alta (MI300X, H200) attraverso un'ottimizzazione hardware-specifica profonda.
Cerebras — Utilizza una strategia fondamentalmente hardware-first: il Wafer-Scale Engine (WSE-3), un chip singolo massiccio che elimina la necessità di comunicazione multi-GPU. Cerebras raggiunge ~2.100 token/s su Llama 3.1 70B (batch 1) sul suo hardware WSE-3 — notevolmente, quella velocità è per un modello da 70B, non da 2B.
Dimensione
Kog
Cerebras
Approccio
Solo software su GPU standard
Hardware wafer-scale custom
Miglior demo
3.000 tok/s su un modello 2B
~2.100 tok/s su modello 70B
Affermazione di latenza
Mira a 30x su modelli all'avanguardia
~4x vs H100 su modelli 70B
Costo hardware
Usa infrastruttura GPU esistente
Richiede sistemi CS-3 proprietari
Maturità
Fase iniziale (anteprima tecnica, solo 2B)
Produzione per molteplici modelli open
Avvertenza chiave: Il risultato di 3.000 tok/s di Kog è su un modello da 2,3 miliardi di parametri — un ordine di grandezza più piccolo dei modelli da 70B che Cerebras serve a velocità comparabili. Kog deve ancora dimostrare la sua affermazione 30x su larga scala. Il prossimo traguardo dell'azienda (10x su un modello industriale di grandi dimensioni) sarà il punto di prova critico.
Delayed Tensor Parallelism (DTP): Il tensor parallelism standard si blocca su un all-reduce ad ogni layer. Kog ritarda ogni all-reduce di δ=2 layer, sovrapponendo la comunicazione con il calcolo e lo streaming dei pesi, così le GPU non restano mai in attesa di dati.
Architettura Transformer a corsie (Laneformer): Laneformer divide il modello in 8 "corsie" parallele che si allineano con lo schedule di comunicazione del DTP, permettendo al motore di nascondere perfettamente l'overhead del tensor parallelism.
Layer di comunicazione custom (KCCL): Sostituisce NCCL/RCCL standard per ottenere una latenza inferiore e un tensor parallelism a scalabilità lineare tra le GPU.
Ottimizzazione a livello assembly: Kog lavora a livello C++/assembly, invece di accumulare ottimizzazioni su CUDA o ROCm, mirando a ogni ciclo di utilizzo della larghezza di banda della memoria GPU e del calcolo.
Laneformer 2B: Risultati dimostrati
Kog ha rilasciato come open source Laneformer 2B (2,3 miliardi di parametri), un modello di codifica istruito progettato per la velocità di decoding piuttosto che per un punteggio grezzo nei benchmark. Queste velocità sono circa 10 volte superiori alla produttività tipica di vLLM per un modello di queste dimensioni.
Metrica
Risultato
Velocità di decoding su 8× AMD MI300X
3.000 token/s in output per richiesta (FP16, batch size 1)
Velocità di decoding su 8× NVIDIA H200
2.100 token/s in output per richiesta (FP16, batch size 1)
L'anteprima tecnica pubblica di Kog funziona su un modello da 2 miliardi di parametri. L'azienda ora sta correndo per scalare le sue tecniche:
Obiettivo a breve termine: Dimostrare un miglioramento di velocità 10x su un modello industriale di grandi dimensioni (ad esempio, 70B+ dense o MoE). L'azienda prevede di raggiungere questo traguardo nei prossimi mesi.
Ambizione a lungo termine: Mostrare che il suo approccio può fornire un'inferenza 30x più veloce su grandi modelli MoE all'avanguardia a velocità simili a quelle ottenute su Laneformer 2B. Kog ha sostenuto pubblicamente che le sue tecniche DTP e monokernel si adattano favorevolmente alle architetture MoE.
Dal lancio del maggio 2026, Kog afferma di aver generato oltre 200 contatti commerciali concreti ed è completamente concentrata sul supporto a modelli più grandi per soddisfare la domanda aziendale.
Confronto con i concorrenti
ZML — Anche questa una startup francese (sostenuta da Yann LeCun), ZML adotta un approccio diverso: ha rilasciato LLMD, un motore di inferenza gratuito che permette di eseguire molti modelli open-source su una varietà di chip (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) usando un approccio unificato basato su compilatore. ZML dà priorità alla portabilità hardware e al supporto multi-chip piuttosto che alla latenza estrema per singola richiesta. Kog, al contrario, è costruito appositamente per la massima riduzione della latenza su specifiche GPU da datacenter di fascia alta (MI300X, H200) attraverso un'ottimizzazione hardware-specifica profonda.
Cerebras — Utilizza una strategia fondamentalmente hardware-first: il Wafer-Scale Engine (WSE-3), un chip singolo massiccio che elimina la necessità di comunicazione multi-GPU. Cerebras raggiunge ~2.100 token/s su Llama 3.1 70B (batch 1) sul suo hardware WSE-3 — notevolmente, quella velocità è per un modello da 70B, non da 2B.
Dimensione
Kog
Cerebras
Approccio
Solo software su GPU standard
Hardware wafer-scale custom
Miglior demo
3.000 tok/s su un modello 2B
~2.100 tok/s su modello 70B
Affermazione di latenza
Mira a 30x su modelli all'avanguardia
~4x vs H100 su modelli 70B
Costo hardware
Usa infrastruttura GPU esistente
Richiede sistemi CS-3 proprietari
Maturità
Fase iniziale (anteprima tecnica, solo 2B)
Produzione per molteplici modelli open
Avvertenza chiave: Il risultato di 3.000 tok/s di Kog è su un modello da 2,3 miliardi di parametri — un ordine di grandezza più piccolo dei modelli da 70B che Cerebras serve a velocità comparabili. Kog deve ancora dimostrare la sua affermazione 30x su larga scala. Il prossimo traguardo dell'azienda (10x su un modello industriale di grandi dimensioni) sarà il punto di prova critico.
