RéponsesPublié15 sources
Jalapeño : la puce d’OpenAI revendique un net avantage sur les systèmes Nvidia GB200 et GB300
OpenAI affirme que Jalapeño fournit 1,5 à 1,9 fois plus de travail d’IA par watt et réduit la latence de bout en bout de 1,7 à 3,6 fois face aux systèmes Nvidia comparés. Sur DeepSeek R1, la puce atteint environ 700 tokens par seconde et par utilisateur, contre 169 pour le système GB300 testé.
Publié parImages générées avec GPT Image 1.5
Réponse de recherche
Points clés à retenir
- OpenAI affirme que Jalapeño fournit 1,5 à 1,9 fois plus de travail d’IA par watt et réduit la latence de bout en bout de 1,7 à 3,6 fois face aux systèmes Nvidia comparés.
- Sur DeepSeek R1, la puce atteint environ 700 tokens par seconde et par utilisateur, contre 169 pour le système GB300 testé.
- Ces résultats proviennent de tests InferenceX publiés par OpenAI et restent limités à certaines configurations et à des charges d’inférence précises.
- Jalapeño est destinée à l’inférence, et non à l’entraînement : OpenAI continuera donc d’utiliser des accélérateurs Nvidia, AMD et d’autres partenaires.
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI présente Jalapeño, son premier accélérateur conçu sur mesure avec Broadcom, comme une alternative particulièrement efficace aux systèmes Nvidia GB200 et GB300 pour servir les grands modèles de langage. Selon les résultats publiés par l’entreprise, la puce combine davantage de travail d’IA par watt et des réponses plus rapides sur les charges d’inférence testées. 4
7
Il faut toutefois nuancer cette annonce : il s’agit de résultats communiqués par OpenAI, observés dans un laboratoire et obtenus sur un ensemble de configurations précises. Ils ne constituent pas une comparaison indépendante et exhaustive de toutes les charges de travail utilisées en production.
Des gains annoncés en efficacité et en rapidité
OpenAI a évalué Jalapeño avec trois modèles : GPT‑OSS 120B, DeepSeek R1 670B et Kimi K2.5 1T. Sur l’ensemble de ces tests, l’entreprise annonce 1,5 à 1,9 fois plus de travail d’IA par watt au débit maximal, ainsi qu’une latence de bout en bout réduite de 1,7 à 3,6 fois par rapport aux systèmes de comparaison. 4
La mesure de la latence de bout en bout inclut le traitement complet d’une requête, et pas seulement le calcul d’un composant isolé. Pour les applications interactives, OpenAI indique également des performances 2,1 à 4,1 fois supérieures selon les scénarios testés. 4
GPT‑OSS 120B face au GB200
Pour GPT‑OSS 120B, OpenAI compare Jalapeño à un système Nvidia GB200. La puce atteint, selon ses mesures, 85 448 unités de débit mixte maximal par kilowatt, contre 44 960 pour le GB200, soit un avantage de 1,9 fois.
La latence de bout en bout passe de 1,80 seconde sur le système Nvidia à 1,03 seconde sur Jalapeño, soit une réduction annoncée de 1,7 fois. Le temps minimal entre deux tokens est de 0,69 milliseconde, ce qui correspond à environ 1 459 tokens par seconde et par utilisateur, contre 1,87 milliseconde — ou 535 tokens par seconde et par utilisateur — pour le GB200. 4
DeepSeek R1 face au GB300
Sur DeepSeek R1 en précision MXFP4, OpenAI oppose Jalapeño à un système GB300. Le débit maximal par kilowatt atteint 19 641, contre 11 781 pour le GB300, soit un rapport de 1,7 fois.
La latence de bout en bout annoncée est de 1,65 seconde, contre 5,99 secondes pour le système Nvidia : un écart de 3,6 fois. Avec un temps minimal entre tokens de 1,43 milliseconde, Jalapeño fournirait environ 700 tokens par seconde et par utilisateur, contre 169 pour le GB300. 4
Kimi K2.5
Pour Kimi K2.5 en MXFP4, OpenAI annonce 1,5 fois plus de débit par watt et une latence de bout en bout réduite de 3,4 fois face au GB300. La vitesse minimale entre tokens serait d’environ 694 tokens par seconde et par utilisateur, contre 182 pour le système Nvidia. 4
Une architecture pensée pour l’inférence
Jalapeño n’est pas un GPU polyvalent adapté après coup à l’IA. Il s’agit d’un accélérateur conçu spécifiquement pour l’inférence des grands modèles de langage, c’est-à-dire l’exécution d’un modèle déjà entraîné pour produire une réponse.
OpenAI a pris en charge la conception de l’accélérateur, Broadcom son implémentation au niveau du silicium et la connectivité réseau, tandis que Celestica a contribué à l’intégration des cartes, des racks et du système complet. 1
La conception dévoilée fonctionne à l’échelle d’un rack au sein d’un vaste domaine réseau connecté. L’objectif est de conserver localement l’état du modèle, notamment le cache KV — une mémoire intermédiaire essentielle lors de la génération — afin de limiter les transferts entre puces et les ralentissements liés aux communications. 4
OpenAI indique également ne pas séparer le « prefill » et le « decode » dans des ensembles de ressources distincts. Les mêmes ressources de calcul, de mémoire et de réseau doivent pouvoir gérer les deux phases : le traitement initial de la requête, très exigeant en calcul, puis la génération autorégressive des tokens, davantage limitée par la bande passante mémoire. 4
Les spécifications publiques restent incomplètes. Un rapport technique décrit un système de 128 puces offrant environ 1,7 exaflop et 27 téraoctets de mémoire HBM, mais la publication d’OpenAI ne fournit pas la nomenclature complète du rack. 4
Une conception accélérée par les modèles d’IA
OpenAI affirme être passée de la conception initiale au « tape-out » — l’envoi final du design à la fabrication — en neuf mois. L’entreprise présente ce calendrier comme exceptionnellement court pour un circuit intégré spécialisé de hautes performances. 1
Ses propres modèles ont participé à plusieurs étapes : conception, exploration des implémentations, mesure, vérification, optimisation de circuits arithmétiques et programmation. OpenAI affirme notamment que Codex, associé à GPT‑Astra, a permis d’amener trois modèles open source qui n’étaient pas prévus initialement à un haut niveau de performance en deux mois.
Sur certains blocs d’attention et de mélange d’experts de GPT‑OSS, les implémentations produites par l’IA auraient été 1,5 à 1,8 fois plus rapides que les versions écrites auparavant par des ingénieurs. Ces chiffres concernent des blocs précis et ne doivent pas être interprétés comme un gain équivalent sur l’ensemble des modèles. 4
Des résultats à interpréter avec prudence
Le principal point de comparaison est InferenceX, une suite de tests publique de SemiAnalysis. Les scénarios retenus utilisent nominalement une entrée de 8 000 tokens et une sortie de 1 000 tokens pour une requête unique, tout en mesurant le service complet de la demande. Les systèmes ont été comparés à expérience utilisateur équivalente, puis normalisés selon les puissances publiées des puces. 4
7
OpenAI indique une puissance de 700 watts pour le boîtier de Jalapeño, tout en précisant que la consommation mesurée en continu était inférieure ou égale à 550 watts dans ces charges. Les systèmes GB200 et GB300 ont été modélisés à 1 200 et 1 400 watts respectivement. L’avantage par watt dépend donc en partie du scénario de test et de la manière dont la consommation est comptabilisée. 4
SemiAnalysis dit avoir assisté aux exécutions dans le laboratoire d’OpenAI, sans avoir réalisé elle-même l’intégralité de la suite de benchmarks. L’organisme souligne aussi que le scénario InferenceX, limité à une requête simple de 8 000 tokens en entrée et 1 000 en sortie, ne couvre pas les contextes plus longs, les échanges multipasses avec des agents, le routage, la mise en cache de préfixes, la gestion des caches ou le déport de calcul. Ces paramètres peuvent modifier sensiblement les performances en production. 4
La comparaison est par ailleurs liée à une génération donnée de matériel. Les GB200 et GB300 sont des systèmes commerciaux de génération Blackwell, et de nouvelles plateformes Nvidia pourraient constituer des adversaires plus pertinents lorsque Jalapeño sera déployée à grande échelle. Nvidia publie de son côté des résultats sur DeepSeek R1 obtenus avec GB300 dans le cadre de la méthodologie hors ligne de MLPerf. Ces chiffres ne sont pas directement comparables aux mesures interactives en tokens par utilisateur annoncées pour Jalapeño. 2
4
Une puce réservée aux besoins d’OpenAI
OpenAI prévoit un déploiement interne limité dans ses propres infrastructures de calcul d’ici la fin de 2026, puis une capacité plus importante en 2027. Une deuxième génération serait déjà « profondément » en développement, tandis que les travaux sur une troisième génération commencent à prendre forme. 4
6
L’entreprise ne prévoit pas de vendre Jalapeño à des clients externes. Richard Ho, vice-président chargé du matériel chez OpenAI, a expliqué que la demande interne était trop importante pour envisager, à ce stade, une commercialisation extérieure. 6
Jalapeño doit donc compléter les accélérateurs Nvidia et AMD plutôt que les remplacer. OpenAI continuera de s’appuyer sur un éventail de partenaires, en particulier pour l’entraînement des modèles, domaine auquel cette puce n’est pas destinée. 4
6
L’annonce place néanmoins OpenAI dans la même course à l’intégration verticale que Google avec ses TPU, Amazon et Microsoft avec leurs puces conçues en interne, ou encore Anthropic, qui a indiqué travailler sur une activité de conception de puces. Pour l’instant, l’avantage revendiqué par OpenAI reste circonscrit à l’inférence de modèles de langage et aux configurations précises divulguées dans ces benchmarks. 6
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Jalapeño : la puce d’OpenAI revendique un net avantage sur les systèmes Nvidia GB200 et GB300 » ?
OpenAI affirme que Jalapeño fournit 1,5 à 1,9 fois plus de travail d’IA par watt et réduit la latence de bout en bout de 1,7 à 3,6 fois face aux systèmes Nvidia comparés.
Quels sont les points clés à valider en premier ?
OpenAI affirme que Jalapeño fournit 1,5 à 1,9 fois plus de travail d’IA par watt et réduit la latence de bout en bout de 1,7 à 3,6 fois face aux systèmes Nvidia comparés. Sur DeepSeek R1, la puce atteint environ 700 tokens par seconde et par utilisateur, contre 169 pour le système GB300 testé.
Que dois-je faire ensuite en pratique ?
Ces résultats proviennent de tests InferenceX publiés par OpenAI et restent limités à certaines configurations et à des charges d’inférence précises.
Sources
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...
developer.nvidia.comAI Inference Performance Benchmarks - NVIDIA Developer