RéponsesPublié19 sources
Jalapeño : la puce d’OpenAI revendique une nette avance sur les Nvidia GB200 et GB300
Dans les tests InferenceX, OpenAI affirme que Jalapeño a fourni 1,5 à 1,9 fois plus de travail IA par watt et 1,7 à 3,6 fois moins de latence de bout en bout que les systèmes Nvidia comparés. Avec DeepSeek R1, la puce aurait atteint environ 700 tokens par seconde et par utilisateur, contre 169 pour le système GB300...
Publié parModifié avec GPT-5.6 LunaImages générées avec GPT Image 1.5
Réponse de recherche
Points clés à retenir
- Dans les tests InferenceX, OpenAI affirme que Jalapeño a fourni 1,5 à 1,9 fois plus de travail IA par watt et 1,7 à 3,6 fois moins de latence de bout en bout que les systèmes Nvidia comparés.
- Avec DeepSeek R1, la puce aurait atteint environ 700 tokens par seconde et par utilisateur, contre 169 pour le système GB300 de Nvidia au meilleur niveau d’interactivité mesuré.
- Jalapeño est conçu pour l’inférence, pas pour l’entraînement. OpenAI prévoit un déploiement interne limité d’ici fin 2026, puis une montée en capacité en 2027, sans ventes externes annoncées.
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
Les premiers résultats publiés par OpenAI placent sa puce maison Jalapeño devant les systèmes Nvidia GB200 et GB300 utilisés comme références, sur trois critères particulièrement importants pour les services d’IA : la quantité de calcul réalisée par watt, le délai de réponse complet et la vitesse d’arrivée des tokens lors d’une interaction. Les chiffres concernent GPT‑OSS 120B, DeepSeek R1 et Kimi K2.5 1T. 3
4
Une précision s’impose toutefois : il s’agit de résultats préliminaires communiqués par OpenAI dans une configuration précise d’InferenceX. Ils ne constituent pas une comparaison indépendante et universelle de toutes les charges de travail en production, ni des futures plateformes Nvidia. 4
7
Des écarts importants dans les tests
Sur les trois modèles évalués, OpenAI annonce 1,5 à 1,9 fois plus de travail IA par watt au débit maximal et 1,7 à 3,6 fois moins de latence de bout en bout que les systèmes de comparaison. Pour les usages très interactifs, le gain annoncé atteint 2,1 à 4,1 fois. 3
Les résultats les plus parlants, modèle par modèle, sont les suivants :
GPT‑OSS 120B face au Nvidia GB200 : Jalapeño aurait atteint 85 448 unités de débit mixte maximal par kilowatt, contre 44 960 pour le GB200. OpenAI mesure également une latence de bout en bout de 1,03 seconde, contre 1,80 seconde, ainsi qu’un délai minimal entre les tokens de 0,69 milliseconde. Cela correspond à environ 1 459 tokens par seconde et par utilisateur, contre 535 pour le GB200.
4
DeepSeek R1 MXFP4 face au Nvidia GB300 : OpenAI revendique 19 641 unités de débit mixte maximal par kilowatt, contre 11 781 pour le GB300. La latence de bout en bout serait de 1,65 seconde, contre 5,99 secondes. Au meilleur niveau d’interactivité, Jalapeño aurait fourni environ 700 tokens par seconde et par utilisateur, contre 169 pour le GB300.
6
Kimi K2.5 MXFP4 face au Nvidia GB300 : OpenAI annonce 1,5 fois plus de débit maximal par kilowatt, 3,4 fois moins de latence de bout en bout et environ 694 tokens par seconde et par utilisateur, contre 182 pour le GB300.
L’indicateur « tokens par seconde et par utilisateur » mesure la réactivité d’une requête individuelle. Il ne s’agit pas simplement de compter le nombre total de tokens qu’une baie peut produire lorsqu’elle traite un grand nombre de demandes en parallèle. Cette nuance est importante pour les assistants conversationnels, le code et les agents IA : pour l’utilisateur, la sensation de fluidité compte autant que le débit global du centre de données.
Une architecture pensée spécifiquement pour l’inférence
Jalapeño n’est pas un GPU généraliste adapté à l’IA. Il s’agit d’un accélérateur conçu dès le départ pour exécuter de grands modèles de langage déjà entraînés. OpenAI a défini l’architecture, Broadcom s’est chargé de l’implémentation du silicium et du réseau, tandis que Celestica a contribué à la conception des cartes, des baies et à l’intégration système. 17
32
La conception à l’échelle de la baie repose sur un vaste domaine réseau destiné à maintenir autant que possible une charge de travail au sein d’un même système. OpenAI affirme que l’état du modèle, notamment le cache KV — une mémoire intermédiaire utilisée pour éviter de recalculer le contexte déjà traité — est placé et conservé localement lorsque c’est possible. L’objectif est de limiter les transferts entre puces et les ralentissements liés aux communications. 4
6
Le système ne sépare pas non plus le prefill et le decode dans deux ensembles de ressources fixes. OpenAI décrit au contraire les ressources de calcul, de mémoire et de réseau comme interchangeables entre ces deux phases :
- le prefill traite la requête initiale et sollicite surtout la puissance de calcul ;
- le decode génère la réponse token après token et dépend souvent davantage des mouvements de données et de la bande passante mémoire.
Les informations techniques publiques restent cependant partielles. Une description évoque un système de 128 puces développant environ 1,7 exaflop et intégrant 27 To de mémoire HBM. L’annonce d’OpenAI ne fournit pas, à elle seule, la liste complète des composants d’une baie ni tous les éléments nécessaires pour reproduire indépendamment chaque résultat. 4
Neuf mois de conception, avec l’aide des modèles d’IA
OpenAI indique être passée de la conception initiale au tape-out — l’envoi du design final à la fabrication — en neuf mois. Pour un accélérateur avancé, ce calendrier est particulièrement court. 17
21
La société affirme aussi avoir utilisé ses propres modèles pour explorer l’architecture, réaliser l’implémentation, effectuer des mesures et des vérifications, optimiser des circuits arithmétiques et programmer le système. Selon OpenAI, Codex associé à GPT‑Astra a permis d’amener trois modèles open weight qui n’étaient pas prévus au départ à un haut niveau de performance en deux mois.
Sur certains blocs d’attention et de mélange d’experts de GPT‑OSS, OpenAI affirme que les implémentations générées par l’IA étaient 1,5 à 1,8 fois plus rapides que les implémentations humaines existantes. Ces chiffres concernent des blocs sélectionnés, et non les performances complètes d’un modèle en production. 4
Ce que les benchmarks ne permettent pas encore de conclure
L’avantage affiché par Jalapeño doit être lu avec prudence.
Un accélérateur d’inférence, pas une puce d’entraînement
Jalapeño est destiné à servir des modèles déjà entraînés. Il n’a pas été conçu pour l’entraînement des modèles. OpenAI prévoit donc de continuer à utiliser des accélérateurs Nvidia, AMD et d’autres fournisseurs pour l’entraînement, ainsi que pour une partie de ses capacités d’inférence. 4
6
La puce doit ainsi être comprise comme un ajout spécialisé à l’infrastructure d’OpenAI, et non comme un remplacement complet des GPU utilisés par l’entreprise.
Un profil de test relativement étroit
La comparaison s’appuie sur le benchmark public InferenceX de SemiAnalysis, avec des requêtes nominales en un seul tour comprenant 8 000 tokens en entrée et 1 000 tokens en sortie. Le test mesure le traitement complet d’une requête, aligne les systèmes sur l’expérience utilisateur et normalise les résultats à partir des puissances publiées des puces. 4
7
SemiAnalysis indique avoir assisté aux exécutions dans le laboratoire d’OpenAI, sans avoir exécuté elle-même l’intégralité de la suite de tests. Elle précise également que cette configuration n’évalue pas les contextes plus longs, les agents utilisant plusieurs tours de dialogue, le routage, la mise en cache des préfixes, la gestion des caches ou le déport de calcul et de données. Or ces choix logiciels et ces mécanismes de service peuvent modifier sensiblement les performances en production. 6
La méthode de calcul de la consommation électrique compte
OpenAI donne à Jalapeño une puissance de boîtier de 700 watts et affirme que la consommation mesurée en continu était inférieure ou égale à 550 watts sur les charges testées. Les systèmes de comparaison utilisent des valeurs modélisées de 1 200 watts pour le GB200 et de 1 400 watts pour le GB300. L’avantage par watt dépend donc en partie de la charge, du point de mesure et de la méthode retenue pour comptabiliser l’énergie. 4
Une comparaison qui peut rapidement dater
Les tests opposent Jalapeño aux meilleurs résultats disponibles à ce moment-là pour les systèmes GB200 et GB300. De nouvelles plateformes Nvidia pourraient toutefois constituer des références plus pertinentes lorsque Jalapeño sera déployé à grande échelle. Nvidia publie par ailleurs des résultats du GB300 sur DeepSeek R1 selon la méthodologie hors ligne de MLPerf. Ces chiffres ne doivent pas être comparés directement aux mesures interactives en tokens par utilisateur annoncées pour Jalapeño. 1
2
4
Un déploiement interne et une stratégie de diversification
OpenAI prévoit un déploiement limité de Jalapeño dans sa propre infrastructure informatique d’ici la fin de 2026, puis une capacité plus importante en 2027. L’entreprise affirme qu’une deuxième génération est déjà très avancée et qu’une troisième commence à prendre forme. 4
6
Pour l’instant, Jalapeño reste une plateforme interne : les entreprises extérieures ne peuvent ni acheter ni louer cette puce. Richard Ho, responsable du matériel chez OpenAI, a déclaré que la demande interne était trop forte pour envisager des ventes à des clients externes. 6
La stratégie consiste donc à compléter les solutions de Nvidia et d’AMD, plutôt qu’à les éliminer immédiatement. OpenAI a toujours besoin d’accélérateurs généralistes pour entraîner ses modèles, ce qui rend probable une infrastructure hétérogène. Google développe déjà ses TPU pour l’entraînement et l’inférence ; Amazon et Microsoft ont conçu leurs propres puces d’IA ; Anthropic a également décrit un projet de silicium sur mesure. 6
À retenir
Les premiers résultats de Jalapeño suggèrent qu’un accélérateur spécialisé peut dépasser des systèmes généralistes sur les indicateurs les plus importants pour l’inférence interactive des grands modèles de langage : l’efficacité énergétique, le temps de réponse complet et la vitesse de génération perçue par chaque utilisateur.
Mais les données disponibles permettent une conclusion plus limitée que « OpenAI a battu Nvidia ». L’avance annoncée concerne certains modèles, une charge InferenceX précise et des configurations GB200 et GB300 données comme références. Il faudra encore vérifier le comportement de Jalapeño sur des requêtes de production plus variées, des agents à contexte long, d’autres piles logicielles, des charges proches de l’entraînement et les systèmes Nvidia qui seront disponibles au moment de son déploiement élargi.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Jalapeño : la puce d’OpenAI revendique une nette avance sur les Nvidia GB200 et GB300 » ?
Dans les tests InferenceX, OpenAI affirme que Jalapeño a fourni 1,5 à 1,9 fois plus de travail IA par watt et 1,7 à 3,6 fois moins de latence de bout en bout que les systèmes Nvidia comparés.
Quels sont les points clés à valider en premier ?
Dans les tests InferenceX, OpenAI affirme que Jalapeño a fourni 1,5 à 1,9 fois plus de travail IA par watt et 1,7 à 3,6 fois moins de latence de bout en bout que les systèmes Nvidia comparés. Avec DeepSeek R1, la puce aurait atteint environ 700 tokens par seconde et par utilisateur, contre 169 pour le système GB300 de Nvidia au meilleur niveau d’interactivité mesuré.
Que dois-je faire ensuite en pratique ?
Jalapeño est conçu pour l’inférence, pas pour l’entraînement. OpenAI prévoit un déploiement interne limité d’ici fin 2026, puis une montée en capacité en 2027, sans ventes externes annoncées.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch