Pourquoi les entreprises chinoises d’IA ménagent chaque GPU Nvidia

La pénurie de capacité de calcul qui frappe l’intelligence artificielle chinoise se déplace. Après avoir principalement concerné l’entraînement des modèles, elle se manifeste désormais de plus en plus au moment de les faire fonctionner pour des millions d’utilisateurs.

Les assistants grand public, les logiciels d’entreprise et les agents capables de raisonner, d’utiliser des outils et d’exécuter des tâches en plusieurs étapes génèrent un volume considérable de requêtes. Résultat : l’inférence — c’est-à-dire la phase durant laquelle un modèle déjà entraîné produit ses réponses — devient une contrainte aussi stratégique que l’entraînement.

De l’entraînement à la mise à disposition

L’entraînement sert à construire un modèle. L’inférence intervient ensuite, lorsque ce modèle répond aux utilisateurs ou accomplit une tâche. Certains usages d’inférence peuvent être adaptés à des puces chinoises, mais cette substitution a ses limites : les applications exigeantes nécessitent à la fois puissance de calcul, mémoire, fiabilité et logiciels suffisamment matures.

Les entreprises chinoises doivent donc composer avec une infrastructure hétérogène. Les accélérateurs locaux peuvent prendre en charge une partie des requêtes, tandis qu’un stock limité de processeurs Nvidia haut de gamme est réservé aux tâches les plus difficiles à déplacer. Les travaux de programmation complexes figurent parmi les points de tension les plus importants.

Pourquoi le code et les agents saturent les capacités disponibles

Une question-réponse simple demande relativement peu de ressources. Un assistant de programmation ou un agent autonome est beaucoup plus gourmand : il doit conserver un long contexte, générer du code, appeler des outils externes, examiner le résultat puis corriger sa réponse, parfois à plusieurs reprises.

L’enjeu économique n’est donc pas seulement de savoir combien de puces une entreprise possède, mais quelle quantité de travail fiable et de qualité ces puces peuvent accomplir. Si les processeurs chinois sont moins efficaces sur les tâches de programmation ou de raisonnement complexes, transférer toute l’inférence vers ces puces peut dégrader la qualité du service ou augmenter son coût.

Les GPU Nvidia disponibles doivent alors être affectés aux missions pour lesquelles leur avantage est le plus déterminant.

Tous les tokens ne se valent pas

Le nombre de tokens — les unités de texte traitées par les grands modèles de langage — permet de mesurer la demande, mais il ne décrit pas des tâches identiques.

Une réponse simple et peu coûteuse peut être confiée à une puce moins chère. À l’inverse, une réponse produite par un modèle plus performant, avec une chaîne de raisonnement plus longue, un contexte étendu ou plusieurs appels d’outils, exige davantage de calcul. Elle peut aussi avoir une valeur commerciale supérieure pour le client.

C’est pourquoi l’augmentation du nombre total de tokens peut masquer une pénurie encore plus marquée de capacité d’inférence haut de gamme. Le marché peut produire davantage de tokens tout en manquant des ressources nécessaires pour fournir des résultats fiables sur les tâches complexes. L’intérêt croissant pour la production de tokens de haute qualité et pour les systèmes combinant plusieurs architectures de calcul traduit cette distinction.

Une demande multipliée par plus de 1 000

En Chine, le volume moyen quotidien d’appels de tokens a dépassé 140 000 milliards en mars 2026, contre environ 100 milliards au début de 2024, soit une hausse de plus de 1 000 fois selon des chiffres attribués à l’Administration nationale des données.

Cette progression témoigne d’un changement d’échelle. L’IA ne se limite plus aux expérimentations et aux prompts isolés : elle s’intègre aux assistants, aux logiciels professionnels et aux agents chargés d’exécuter des processus concrets. L’inférence devient ainsi un moteur majeur de la consommation de calcul, et non plus une étape secondaire après l’entraînement.

L’optimisation logicielle, le levier le plus rapide

Augmenter le nombre de processeurs haut de gamme est difficile lorsque les contrôles à l’export limitent l’accès aux produits Nvidia les plus avancés, que l’offre est restreinte et que les écosystèmes logiciels sont coûteux à remplacer. Les modèles, les outils et les méthodes de travail existants sont en effet largement liés aux plateformes déjà utilisées.

Le logiciel ne peut pas créer de nouvelles puces, mais il peut accroître la quantité de travail utile réalisée par chaque processeur. Les entreprises peuvent notamment :

• Répartir les charges : envoyer les requêtes simples vers des puces moins coûteuses ou des accélérateurs chinois et réserver les GPU Nvidia aux tâches complexes.
• Améliorer le service des requêtes : regrouper et planifier plus efficacement les demandes afin de réduire les périodes d’inactivité du matériel.
• Adapter les ressources au besoin : ajuster la taille du modèle, la longueur du contexte et la stratégie de réponse à la difficulté et à la valeur de chaque requête.
• Faire fonctionner plusieurs architectures ensemble : intégrer des puces différentes au lieu d’imposer une plateforme unique à tous les usages.

Ces méthodes servent de pont entre une demande en forte hausse et une offre limitée. Elles ne remplacent toutefois pas complètement le matériel de pointe, notamment lorsque la qualité du résultat dépend encore d’un nombre restreint de processeurs.

Une équation commerciale sous pression

Le problème est aggravé par la baisse des prix de l’inférence. Des analystes de Jefferies ont estimé que les modèles chinois coûtaient en moyenne environ un sixième du prix par token des offres de grandes entreprises américaines.

Des prix bas peuvent accélérer l’adoption, mais ils limitent aussi les revenus disponibles pour financer une capacité de calcul haut de gamme et rare. Dans le même temps, les assistants de programmation et les produits reposant sur des agents consomment davantage de ressources qu’un chatbot classique.

Les entreprises chinoises font donc face à une combinaison difficile : la demande progresse rapidement, les clients veulent un accès peu coûteux et les capacités d’inférence les plus performantes sont difficiles à accroître ou à remplacer.

Cette tension s’est déjà traduite par des problèmes de disponibilité. Selon un rapport consacré au marché, de grands développeurs de modèles chinois et des fournisseurs de cloud ont ralenti leurs services, rationné l’accès ou augmenté leurs prix lorsque la demande a dépassé les ressources de calcul disponibles, notamment pour les assistants de programmation très gourmands.

Le véritable déficit est systémique

Le défi chinois ne se résume donc pas à un manque de puces. Il concerne la combinaison de processeurs avancés, de logiciels compatibles et de capacité d’inférence abordable pour les usages à forte valeur.

Les équipements chinois peuvent absorber une part croissante de la charge à mesure que les logiciels progressent et que les déploiements sont conçus en fonction de leurs points forts. Mais les éléments disponibles décrivent encore une stratégie de transition : optimiser chaque niveau de l’inférence, utiliser les puces locales là où elles sont efficaces et préserver les GPU Nvidia rares pour les tâches les plus exigeantes.

Cette approche peut prolonger les ressources existantes. La croissance durable de l’IA fondée sur les agents dépendra toutefois de la capacité de la Chine à développer à la fois son approvisionnement en matériel et l’écosystème logiciel qui permettra d’exploiter concrètement des processeurs différents.