Google TPU ou NVIDIA H100 : comment choisir le bon accélérateur IA

Verdict rapide

• Privilégiez un TPU Google si la charge est surtout du deep learning, que le modèle se prête bien à l’exécution TPU et que l’équipe est à l’aise avec les pratiques de mise à l’échelle propres aux TPU. La documentation JAX sur le scaling liste notamment les topologies de pods, la HBM par puce, la bande passante et les performances BF16 et INT8 pour les TPU v5e, v5p et v6e .
• Privilégiez un NVIDIA H100 si vous avez besoin d’un support numérique plus large, de charges de travail variées ou d’un risque de migration plus faible depuis une pile déjà construite autour des GPU. La fiche du H100 SXM indique des modes FP64, FP32, TF32 Tensor Core, BF16/FP16 Tensor Core, FP8 Tensor Core et INT8 Tensor Core, avec 80 Go de HBM3 et 3,35 To/s de bande passante mémoire .
• Benchmarkez les deux si le coût est le critère décisif. Les spécifications de pointe, les prix à l’heure ou les promesses des fournisseurs ne remplacent pas une mesure du coût par étape d’entraînement utile ou par jeton d’inférence sur votre modèle exact.

Spécialisation contre polyvalence

Le TPU est un ASIC spécialisé pour le calcul tensoriel dans les systèmes de machine learning . Cette spécialisation peut devenir un avantage net lorsque le travail est régulier : formes de tenseurs stables, lots bien dimensionnés, partitionnement efficace et chemin de compilation adapté. Dans ce cas, une part importante du silicium peut rester occupée.

Le H100 adopte une logique plus polyvalente. Il est très optimisé pour l’IA grâce à ses Tensor Cores, mais sa fiche publique couvre aussi des performances FP64 et FP32 classiques, ainsi que plusieurs modes Tensor Core en plus basse précision . Cette amplitude est précieuse lorsqu’un même parc d’accélérateurs doit servir à des expérimentations diverses, à des modèles aux exigences numériques différentes ou à des charges qui ne sont pas toutes du deep learning pur.

Les fiches techniques aident, mais ne sont pas un benchmark

Les chiffres publics donnent une idée du terrain de jeu, pas un classement universel. Les tableaux TPU et GPU ne comparent pas toujours les mêmes modes de précision, les mêmes hypothèses système ni les mêmes chemins de mise à l’échelle.

Google Cloud documente aussi des types de machines A3 avec 1, 2, 4 ou 8 GPU H100 attachés, chacun doté de 80 Go de HBM3 . Et dans sa communication autour de l’AI Hypercomputer, Google Cloud présente les TPU et les VM A3 avec GPU H100 comme deux options d’un même portefeuille d’infrastructure IA . Le choix n’est donc pas toujours « TPU sur Google Cloud » contre « GPU ailleurs » : il peut aussi se poser à l’intérieur du même environnement cloud.

Quand les TPU Google sont le meilleur candidat

Un TPU devient particulièrement intéressant lorsque sa spécialisation sert votre charge de travail au lieu de la contraindre. Mettez-le en haut de la liste si :

• votre tâche est de l’entraînement ou de l’inférence deep learning dominée par de grandes opérations tensorielles ;
• le modèle a des formes, des tailles de lot et des schémas de sharding stables, que l’on peut optimiser pour l’utilisation TPU ;
• l’équipe accepte de travailler avec des pratiques de scaling orientées TPU ; la documentation JAX traite la taille de pod, la taille d’hôte, la capacité HBM, la bande passante et les débits BF16/INT8 comme des dimensions de planification importantes ;
• Google Cloud est déjà l’environnement de déploiement visé ;
• l’objectif métier est le rapport coût-performance sur une famille de modèles bien identifiée, plutôt qu’une portabilité maximale vers de nombreuses charges différentes.

Les TPU peuvent être très convaincants lorsque la charge maintient les puces occupées et évite de coûteuses réécritures. Mais c’est un résultat dépendant de la charge, pas une propriété universelle. Google a d’ailleurs publié des analyses de performance par dollar pour l’inférence IA sur GPU et TPU, ce qui rappelle que l’économie du serving dépend du modèle et de la configuration, et non d’un classement unique des accélérateurs .

Quand le NVIDIA H100 est le choix le plus sûr

Le H100 devient le meilleur candidat lorsque la flexibilité vaut plus que la spécialisation. Il est particulièrement pertinent si :

• vous avez besoin de modes de précision élevés comme FP64 ou FP32, en plus des modes Tensor Core plus bas en précision ; la fiche publique du H100 SXM inclut FP64, FP32, TF32, BF16, FP16, FP8 et INT8 ;
• votre base de code dépend déjà de noyaux, bibliothèques ou outils d’exploitation orientés GPU ;
• le même parc matériel doit absorber plusieurs types de charges plutôt qu’une seule famille de modèles ;
• vous voulez des formes de VM H100 sur Google Cloud ; les types de machines A3 sont documentés avec 1, 2, 4 ou 8 GPU H100 attachés ;
• le risque de migration compte davantage qu’un gain théorique d’efficacité au niveau de la puce.

Le meilleur argument du H100 n’est pas forcément qu’un GPU bat toujours une puce TPU dans tous les benchmarks. C’est plutôt qu’il offre une plateforme d’accélération plus souple lorsque les besoins changent.

Coût : ne comparez pas seulement les prix à l’heure

Les comparaisons tarifaires sont séduisantes, mais elles peuvent être trompeuses. Une comparaison tierce citait par exemple le TPU v5e de Google Cloud autour de 1,20 dollar par puce-heure et un exemple Azure ND H100 v5 autour de 12,84 dollars par heure pour un GPU H100 de 80 Go . Comme il s’agit d’une comparaison non officielle et entre clouds différents, elle doit être lue comme un signal directionnel, pas comme une conclusion générale selon laquelle le TPU serait toujours moins cher.

Une comparaison sérieuse doit mesurer le système complet :

1. Débit utile : étapes d’entraînement par seconde, échantillons par seconde, jetons par seconde ou latence à la taille de lot cible.
2. Mode de précision : les chiffres FP8, BF16, FP16, TF32, FP32, FP64 et INT8 ne sont pas interchangeables .
3. Capacité et bande passante mémoire : grands modèles, longs contextes et taille de lot peuvent déplacer le goulot d’étranglement loin du calcul de pointe .
4. Comportement à l’échelle : la topologie des pods TPU et la configuration des VM H100 influencent l’entraînement distribué et le serving .
5. Taux d’utilisation : un accélérateur inactif coûte cher, même si son prix horaire paraît attractif.
6. Coût d’ingénierie : portage, compilation, débogage, supervision et changements de déploiement peuvent annuler les économies attendues sur les heures de puce.

La bonne métrique est le coût par sortie utile : par étape d’entraînement, par modèle convergé, par jeton d’inférence ou par objectif de latence.

Matrice de décision

En clair

Considérez le TPU comme l’accélérateur IA le plus spécialisé, et le H100 comme la plateforme d’accélération la plus flexible. Si votre modèle est compatible TPU, très orienté deep learning et déjà destiné à Google Cloud, un TPU peut être le meilleur pari en coût-performance. Si vous avez besoin de nombreux modes numériques, de charges mixtes, de continuité opérationnelle autour des GPU ou d’un risque de migration plus faible, les GPU NVIDIA H100 sont généralement le choix le plus prudent .

La seule réponse vraiment fiable reste un benchmark propre à votre charge : débit, comportement mémoire, taux d’utilisation, coût total et effort d’ingénierie sur le modèle exact que vous comptez entraîner ou servir.