Kog Inference Engine : 3 000 tokens/s sur GPU standard, sans puce dédiée

L'industrie de l'IA a dépensé des milliards pour des puces toujours plus rapides. La startup parisienne Kog AI parie que le vrai problème était ailleurs — et son aperçu technique de mai 2026 suggère que ce pari pourrait bien être gagnant.

Kog (Kog AI) est une startup française d'infrastructure IA fondée en 2023 par Gaël Delalleau. Son produit phare est le Kog Inference Engine (KIE), un moteur d'inférence purement logiciel qui accélère considérablement l'inférence des LLM sur des GPU de数据中心 standard, sans nécessiter de silicium sur mesure . La société est sortie de la clandestinité en mai 2025 et a lancé un aperçu technique public le 28 mai 2026 .

Logiciel contre silicium : le pari de Kog face au matériel dédié

Cerebras construit des puces à l'échelle d'une plaquette sur mesure. Groq et SambaNova suivent des voies similaires, centrées sur le matériel. Kog parie sur l'inverse : d'importantes réserves de performance dans les GPU existants sont laissées de côté par des piles logicielles inefficaces, et une optimisation logicielle de bas niveau peut égaler, voire dépasser, les vitesses du matériel dédié sans aucune nouvelle puce .

L'innovation centrale est un mononoyau (monokernel) — un programme unique et persistant résidant sur le GPU qui exécute l'intégralité de la passe de décodage du LLM (préremplissage, décodage, échantillonnage de la tête LM) en une seule fois, éliminant ainsi la surcharge de lancement de noyau par token qui handicape les piles standard . Les frameworks d'inférence standard comme vLLM, SGLang et TensorRT-LLM lancent un noyau GPU par token, chacun payant environ 4,5 μs de surcharge de lancement plus la latence de redémarrage HBM . Le moteur de Kog contourne les bibliothèques de communication standard et élimine les synchronisations de grille qu'il a mesurées comme consommant 35 % du temps de génération par token .

L'affirmation d'une vitesse « 30 fois plus rapide » est calibrée par rapport aux vitesses de décodage typiques de 100 à 300 tokens/s pour les modèles de 2 à 8 milliards de paramètres sur des GPU haut de gamme, comparées aux 3 000 tokens/s de Kog .

Résultats de l'aperçu technique et limites claires

Résultats :

• Plus de 3 000 tokens de sortie par seconde par requête sur un seul nœud 8× AMD MI300X avec le modèle Laneformer 2B (FP16, taille de lot 1, sans décodage spéculatif)
• 2 100 tokens de sortie/s par requête sur 8× NVIDIA H200 dans les mêmes conditions
• Une latence mono-utilisateur suffisamment faible pour une utilisation interactive en temps réel — la démo a été mise en ligne sur playground.kog.ai
• Le modèle Laneformer 2B a obtenu 45,1 % sur HumanEval+ et 51,6 % sur MBPP+ en décodage glouton

Limites :

• L'aperçu n'a fonctionné que sur un modèle de 2,3 milliards de paramètres (Laneformer 2B). Les modèles plus grands n'ont pas été démontrés
• Il s'agissait d'une configuration mono-requête, mono-utilisateur — pas d'un service de production multi-utilisateurs par lots, et le débit sous charge simultanée n'a pas été montré
• Seuls deux types de GPU étaient pris en charge : AMD MI300X et NVIDIA H200
• Avec 11 employés, l'entreprise est très petite pour l'ampleur de son ambition

Cas d'usage ciblés et premiers succès commerciaux

Kog cible trois scénarios principaux :

• Workflows d'IA agentique — l'entreprise soutient que les GPU sont mal adaptés aux exigences itératives et de faible latence des agents IA, et que son moteur corrige cela
• Inférence LLM en temps réel — copilotes de codage, chatbots et applications où une latence inférieure à 100 ms par token est cruciale
• Inférence d'entreprise auto-hébergée — entreprises qui possèdent déjà des GPU de数据中心 et souhaitent éviter d'acheter du matériel d'inférence dédié

Côté business, Kog a déclaré avoir reçu plus de 200 prospects commerciaux tangibles en août 2026, selon le PDG Delalleau . L'aperçu technique a fait la une de Hacker News en mai 2026 . La société a bouclé un tour d'amorçage co-dirigé par Varsity VC, dont le partenaire Kamel Zeroual était le co-fondateur de Delalleau lors de sa première startup, Stribe .

Pourquoi un physicien de l'état solide devenu hacker dirige cette entreprise

Le PDG Gaël Delalleau apporte un parcours peu commun à l'infrastructure IA : la physique de l'état solide et la cybersécurité offensive .

• La physique de l'état solide l'a formé à raisonner à partir des premiers principes sur le comportement du matériel physique à un bas niveau — électrons, bande passante mémoire, contraintes au niveau des transistors. Son équipe traite l'optimisation des GPU comme un problème de physique plutôt que d'ingénierie logicielle
• La cybersécurité offensive lui a donné un état d'esprit de rétro-ingénierie adversarial. Le moteur de Kog examine les GPU aux niveaux assembleur et binaire, trouvant des réserves de performance cachées que les pilotes et bibliothèques standard n'exposent pas — une application classique de l'« état d'esprit de l'attaquant » à la performance matérielle
• Delalleau n'est pas un chercheur traditionnel en apprentissage automatique ; sa première startup (Stribe, un ancien de TechCrunch50 2009) n'avait aucun rapport avec l'IA. Il se décrit comme un penseur des premiers principes qui conçoit des algorithmes à partir du matériel

Défis de passage à l'échelle : taille de l'équipe, support des puces et échelle des modèles

Kog fait face à trois obstacles majeurs de passage à l'échelle :

• Taille de l'équipe : Avec seulement 11 employés, le portage de son mononoyau profondément optimisé à la main vers de nouvelles architectures GPU demande un travail intensif
• Support des nouvelles puces : Le moteur ne prend actuellement en charge que l'AMD MI300X et le NVIDIA H200. Chaque nouveau GPU nécessite une rétro-ingénierie manuelle au niveau assembleur. Le PDG Delalleau reconnaît que c'est un goulot d'étranglement, même s'il s'attend à ce que les architectures GPU plus récentes avec une bande passante mémoire plus élevée soient des cibles plus faciles
• Échelle des modèles : Passer de modèles de 2 milliards de paramètres à des LLM à grande échelle (plus de 70 milliards) représente ce que Delalleau appelle « un énorme bond. » Les techniques qui fonctionnent pour un petit modèle peuvent ne pas s'étendre trivialement à des empreintes mémoire et de calcul beaucoup plus grandes

L'étape décisive : les grands modèles de langage

La prochaine étape cruciale pour Kog est de prouver que son approche fonctionne sur les grands modèles de langage (plus de 70 milliards de paramètres). Le PDG Delalleau a déclaré que l'entreprise se concentre désormais sur l'adaptation de ses techniques aux LLM à grande échelle. La confiance vient des architectures GPU plus récentes offrant une bande passante mémoire sensiblement plus élevée — une ressource que Kog estime toujours fondamentalement sous-utilisée par les piles logicielles standard . La société n'a pas annoncé de date précise, mais cette démonstration est largement considérée comme le point de validation ou d'échec de toute la thèse.