Kog défie les limites des GPU : comment un logiciel seul peut délivrer une inférence de LLM jusqu'à 30 fois plus rapide
Kog atteint 3 000 tokens/s par requête sur un nœud 8× AMD MI300X avec un moteur d'inférence 100% logiciel — sans matériel custom, quantification ni décodage spéculatif. Son innovation clé, le parallélisme tensoriel retardé (DTP), décale les all reduce inter GPU de 2 couches pour chevaucher communication et calcul, é...
Publié parModifié avec DeepSeek-V4-FlashImages générées avec GPT Image 1.5
Kog atteint 3 000 tokens/s par requête sur un nœud 8× AMD MI300X avec un moteur d'inférence 100% logiciel — sans matériel custom, quantification ni décodage spéculatif.
Son innovation clé, le parallélisme tensoriel retardé (DTP), décale les all reduce inter GPU de 2 couches pour chevaucher communication et calcul, éliminant les temps morts du parallélisme tensoriel classique.
Kog n'a pas encore démontré son gain de 30x à grande échelle (sa meilleure démo est sur un modèle 2B); la prochaine étape cruciale sera un gain de 10x sur un modèle industriel majeur.
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
Prompt IA
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog est une startup française qui affirme pouvoir accélérer jusqu'à 30 fois l'inférence des grands modèles de langage (LLM) sur des GPU de datacenter existants, en s'appuyant sur une pile d'optimisation logicielle profonde — co-concevant une architecture de modèle custom (Laneformer), un moteur d'inférence à noyau unique (KIE) et une couche de communication sur mesure (KCCL) pour éliminer toute source de ralentissement dans la boucle de décodage.
Plutôt que de construire des ASIC sur mesure ou d'acquérir du matériel exotique, Kog traite trois couches comme un seul système co-conçu :
Mononoyau (noyau CUDA persistant unique) : La totalité de la passe de décodage du LLM s'exécute comme un seul noyau persistant, sans lancement de noyau ni interruption entre les couches, supprimant entièrement les frais généraux de lancement du GPU.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Quelle est la réponse courte à « Kog défie les limites des GPU : comment un logiciel seul peut délivrer une inférence de LLM jusqu'à 30 fois plus rapide » ?
Kog atteint 3 000 tokens/s par requête sur un nœud 8× AMD MI300X avec un moteur d'inférence 100% logiciel — sans matériel custom, quantification ni décodage spéculatif.
Quels sont les points clés à valider en premier ?
Kog atteint 3 000 tokens/s par requête sur un nœud 8× AMD MI300X avec un moteur d'inférence 100% logiciel — sans matériel custom, quantification ni décodage spéculatif. Son innovation clé, le parallélisme tensoriel retardé (DTP), décale les all reduce inter GPU de 2 couches pour chevaucher communication et calcul, éliminant les temps morts du parallélisme tensoriel classique.
Que dois-je faire ensuite en pratique ?
Kog n'a pas encore démontré son gain de 30x à grande échelle (sa meilleure démo est sur un modèle 2B); la prochaine étape cruciale sera un gain de 10x sur un modèle industriel majeur.
Kog défie les limites des GPU : comment un logiciel seul peut délivrer une inférence de LLM jusqu'à 30 fois plus rapide
Kog atteint 3 000 tokens/s par requête sur un nœud 8× AMD MI300X avec un moteur d'inférence 100% logiciel — sans matériel custom, quantification ni décodage spéculatif. Son innovation clé, le parallélisme tensoriel retardé (DTP), décale les all reduce inter GPU de 2 couches pour chevaucher communication et calcul, é...
Publié parModifié avec DeepSeek-V4-FlashImages générées avec GPT Image 1.5
Kog atteint 3 000 tokens/s par requête sur un nœud 8× AMD MI300X avec un moteur d'inférence 100% logiciel — sans matériel custom, quantification ni décodage spéculatif.
Son innovation clé, le parallélisme tensoriel retardé (DTP), décale les all reduce inter GPU de 2 couches pour chevaucher communication et calcul, éliminant les temps morts du parallélisme tensoriel classique.
Kog n'a pas encore démontré son gain de 30x à grande échelle (sa meilleure démo est sur un modèle 2B); la prochaine étape cruciale sera un gain de 10x sur un modèle industriel majeur.
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
Prompt IA
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog est une startup française qui affirme pouvoir accélérer jusqu'à 30 fois l'inférence des grands modèles de langage (LLM) sur des GPU de datacenter existants, en s'appuyant sur une pile d'optimisation logicielle profonde — co-concevant une architecture de modèle custom (Laneformer), un moteur d'inférence à noyau unique (KIE) et une couche de communication sur mesure (KCCL) pour éliminer toute source de ralentissement dans la boucle de décodage.
Plutôt que de construire des ASIC sur mesure ou d'acquérir du matériel exotique, Kog traite trois couches comme un seul système co-conçu :
Mononoyau (noyau CUDA persistant unique) : La totalité de la passe de décodage du LLM s'exécute comme un seul noyau persistant, sans lancement de noyau ni interruption entre les couches, supprimant entièrement les frais généraux de lancement du GPU.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Quelle est la réponse courte à « Kog défie les limites des GPU : comment un logiciel seul peut délivrer une inférence de LLM jusqu'à 30 fois plus rapide » ?
Kog atteint 3 000 tokens/s par requête sur un nœud 8× AMD MI300X avec un moteur d'inférence 100% logiciel — sans matériel custom, quantification ni décodage spéculatif.
Quels sont les points clés à valider en premier ?
Kog atteint 3 000 tokens/s par requête sur un nœud 8× AMD MI300X avec un moteur d'inférence 100% logiciel — sans matériel custom, quantification ni décodage spéculatif. Son innovation clé, le parallélisme tensoriel retardé (DTP), décale les all reduce inter GPU de 2 couches pour chevaucher communication et calcul, éliminant les temps morts du parallélisme tensoriel classique.
Que dois-je faire ensuite en pratique ?
Kog n'a pas encore démontré son gain de 30x à grande échelle (sa meilleure démo est sur un modèle 2B); la prochaine étape cruciale sera un gain de 10x sur un modèle industriel majeur.
Parallélisme tensoriel retardé (DTP) : Le parallélisme tensoriel standard bloque sur une opération all-reduce à chaque couche. Kog retarde chaque all-reduce de δ=2 couches, chevauchant la communication avec le calcul et le streaming des poids, de sorte que les GPU ne restent jamais inactifs en attendant des données.
Architecture Transformer structurée en voies : Laneformer divise le modèle en 8 « voies » parallèles qui s'alignent sur le planning de communication du DTP, permettant au moteur de masquer parfaitement les frais généraux du parallélisme tensoriel.
Couche de communication custom (KCCL) : Remplace les NCCL/RCCL standard pour obtenir un parallélisme tensoriel à faible latence et à passage à l'échelle linéaire sur plusieurs GPU.
Optimisation au niveau assembleur : Kog travaille au niveau C++/assembleur plutôt que d'empiler des ajustements sur CUDA ou ROCm, visant chaque cycle de bande passante mémoire GPU et d'utilisation du calcul.
Laneformer 2B : Résultats démontrés
Kog a open-sourcé Laneformer 2B (2,3 milliards de paramètres), un modèle de codage ajusté par instructions conçu pour la vitesse de décodage plutôt que pour un score brut de benchmark. Ces vitesses sont environ 10 fois plus rapides que le débit typique de vLLM pour un modèle de cette taille.
Métrique
Résultat
Vitesse de décodage sur 8× AMD MI300X
3 000 tokens/s en sortie par requête (FP16, batch size 1)
Vitesse de décodage sur 8× NVIDIA H200
2 100 tokens/s en sortie par requête (FP16, batch size 1)
HumanEval+ (greedy)
45,1 %
MBPP+ (greedy)
51,6 %
Méthode
Pas de quantification, pas de décodage spéculatif, pas d'élagage
Prochaines étapes pour le passage à l'échelle
L'aperçu technique public de Kog fonctionne sur un modèle de 2B. L'entreprise cherche maintenant à étendre ses techniques :
Objectif à court terme : Démontrer une amélioration de vitesse de 10x sur un modèle industriel de grande envergure (par exemple, dense 70B+ ou MoE). L'entreprise s'attend à y parvenir dans les mois à venir.
Ambition à long terme : Montrer que son approche peut offrir une inférence 30 fois plus rapide sur de grands modèles MoE de pointe à des vitesses similaires à celles obtenues sur Laneformer 2B. Kog a publiquement soutenu que ses techniques DTP et mononoyau passent à l'échelle favorablement sur les architectures MoE.
Depuis son lancement en mai 2026, Kog indique avoir généré plus de 200 pistes commerciales tangibles et se concentre entièrement sur le support de modèles plus grands pour répondre à la demande des entreprises.
Comparaison avec les concurrents
ZML — Également une startup française d'IA (soutenue par Yann LeCun), ZML adopte une approche différente : elle a publié LLMD, un moteur d'inférence gratuit qui permet à de nombreux modèles open-source de fonctionner sur une grande variété de puces (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) en utilisant une approche unifiée basée sur un compilateur. ZML privilégie la portabilité du matériel et le support multi-puces plutôt que la latence extrême d'une seule requête. Kog, à l'inverse, est conçu pour une réduction maximale de la latence sur des GPU de datacenter haut de gamme spécifiques (MI300X, H200) via une optimisation matérielle profonde et spécifique.
Cerebras — Utilise une stratégie fondamentalement axée sur le matériel : le Wafer-Scale Engine (WSE-3), une puce unique massive qui élimine le besoin de communication multi-GPU. Cerebras atteint environ 2 100 tokens/s sur Llama 3.1 70B (batch 1) sur son matériel WSE-3 — notablement, cette vitesse est pour un modèle 70B, pas un modèle 2B.
Dimension
Kog
Cerebras
Approche
Logiciel seul sur GPU standards
Matériel custom à l'échelle du wafer
Meilleure démo
3 000 tok/s sur un modèle 2B
~2 100 tok/s sur modèle 70B
Affirmation de latence
Vise 30x sur les modèles de pointe
~4x vs H100 sur modèles 70B
Coût matériel
Utilise l'infrastructure GPU existante
Nécessite des systèmes CS-3 propriétaires
Maturité
Stade précoce (aperçu technique, 2B uniquement)
Prêt pour la production pour plusieurs modèles ouverts
Avertissement clé : Le résultat de 3 000 tok/s de Kog concerne un modèle de 2,3B de paramètres — un ordre de grandeur plus petit que les modèles 70B que Cerebras sert à des vitesses comparables. Kog n'a pas encore démontré son affirmation de 30x à grande échelle. La prochaine étape de l'entreprise (10x sur un grand modèle industriel) sera le point de preuve critique.
Parallélisme tensoriel retardé (DTP) : Le parallélisme tensoriel standard bloque sur une opération all-reduce à chaque couche. Kog retarde chaque all-reduce de δ=2 couches, chevauchant la communication avec le calcul et le streaming des poids, de sorte que les GPU ne restent jamais inactifs en attendant des données.
Architecture Transformer structurée en voies : Laneformer divise le modèle en 8 « voies » parallèles qui s'alignent sur le planning de communication du DTP, permettant au moteur de masquer parfaitement les frais généraux du parallélisme tensoriel.
Couche de communication custom (KCCL) : Remplace les NCCL/RCCL standard pour obtenir un parallélisme tensoriel à faible latence et à passage à l'échelle linéaire sur plusieurs GPU.
Optimisation au niveau assembleur : Kog travaille au niveau C++/assembleur plutôt que d'empiler des ajustements sur CUDA ou ROCm, visant chaque cycle de bande passante mémoire GPU et d'utilisation du calcul.
Laneformer 2B : Résultats démontrés
Kog a open-sourcé Laneformer 2B (2,3 milliards de paramètres), un modèle de codage ajusté par instructions conçu pour la vitesse de décodage plutôt que pour un score brut de benchmark. Ces vitesses sont environ 10 fois plus rapides que le débit typique de vLLM pour un modèle de cette taille.
Métrique
Résultat
Vitesse de décodage sur 8× AMD MI300X
3 000 tokens/s en sortie par requête (FP16, batch size 1)
Vitesse de décodage sur 8× NVIDIA H200
2 100 tokens/s en sortie par requête (FP16, batch size 1)
HumanEval+ (greedy)
45,1 %
MBPP+ (greedy)
51,6 %
Méthode
Pas de quantification, pas de décodage spéculatif, pas d'élagage
Prochaines étapes pour le passage à l'échelle
L'aperçu technique public de Kog fonctionne sur un modèle de 2B. L'entreprise cherche maintenant à étendre ses techniques :
Objectif à court terme : Démontrer une amélioration de vitesse de 10x sur un modèle industriel de grande envergure (par exemple, dense 70B+ ou MoE). L'entreprise s'attend à y parvenir dans les mois à venir.
Ambition à long terme : Montrer que son approche peut offrir une inférence 30 fois plus rapide sur de grands modèles MoE de pointe à des vitesses similaires à celles obtenues sur Laneformer 2B. Kog a publiquement soutenu que ses techniques DTP et mononoyau passent à l'échelle favorablement sur les architectures MoE.
Depuis son lancement en mai 2026, Kog indique avoir généré plus de 200 pistes commerciales tangibles et se concentre entièrement sur le support de modèles plus grands pour répondre à la demande des entreprises.
Comparaison avec les concurrents
ZML — Également une startup française d'IA (soutenue par Yann LeCun), ZML adopte une approche différente : elle a publié LLMD, un moteur d'inférence gratuit qui permet à de nombreux modèles open-source de fonctionner sur une grande variété de puces (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) en utilisant une approche unifiée basée sur un compilateur. ZML privilégie la portabilité du matériel et le support multi-puces plutôt que la latence extrême d'une seule requête. Kog, à l'inverse, est conçu pour une réduction maximale de la latence sur des GPU de datacenter haut de gamme spécifiques (MI300X, H200) via une optimisation matérielle profonde et spécifique.
Cerebras — Utilise une stratégie fondamentalement axée sur le matériel : le Wafer-Scale Engine (WSE-3), une puce unique massive qui élimine le besoin de communication multi-GPU. Cerebras atteint environ 2 100 tokens/s sur Llama 3.1 70B (batch 1) sur son matériel WSE-3 — notablement, cette vitesse est pour un modèle 70B, pas un modèle 2B.
Dimension
Kog
Cerebras
Approche
Logiciel seul sur GPU standards
Matériel custom à l'échelle du wafer
Meilleure démo
3 000 tok/s sur un modèle 2B
~2 100 tok/s sur modèle 70B
Affirmation de latence
Vise 30x sur les modèles de pointe
~4x vs H100 sur modèles 70B
Coût matériel
Utilise l'infrastructure GPU existante
Nécessite des systèmes CS-3 propriétaires
Maturité
Stade précoce (aperçu technique, 2B uniquement)
Prêt pour la production pour plusieurs modèles ouverts
Avertissement clé : Le résultat de 3 000 tok/s de Kog concerne un modèle de 2,3B de paramètres — un ordre de grandeur plus petit que les modèles 70B que Cerebras sert à des vitesses comparables. Kog n'a pas encore démontré son affirmation de 30x à grande échelle. La prochaine étape de l'entreprise (10x sur un grand modèle industriel) sera le point de preuve critique.
