Google TPU vs NVIDIA GPU：AIアクセラレータ選びの実務ガイド

まずの結論

• Google TPUを選びやすいケース：ワークロードがほぼ深層学習で、モデルの形状・バッチ・シャーディングがTPUにきれいに載り、チームがTPU前提のスケール設計に対応できる場合。JAXのスケーリング資料では、TPU v5e、v5p、v6eについてPodトポロジー、チップあたりHBM、帯域幅、BF16/INT8性能が整理されています 。
• NVIDIA H100 GPUを選びやすいケース：数値精度の選択肢を広く取りたい、深層学習以外も混ざる、既存のGPU前提コードや運用を大きく変えたくない場合。H100 SXMの公開仕様には、FP64、FP32、TF32 Tensor Core、BF16/FP16 Tensor Core、FP8 Tensor Core、INT8 Tensor Coreが並び、80GB HBM3と3.35TB/sのメモリ帯域幅も示されています 。
• コストが決め手なら、必ず実測：チップ時間単価やピークFLOPSだけでは不十分です。見るべきは、あなたのモデルでの学習ステップあたり、推論トークンあたり、または目標レイテンシあたりの総コストです。

アーキテクチャの違い：専用性か、柔軟性か

TPUの強みは、専用性です。テンソル処理に特化したASICとして設計されているため 、大きく規則的なテンソル演算が中心で、コンパイラ、テンソル形状、バッチサイズ、シャーディングがうまく合うと、チップを効率よく使いやすくなります。

H100は、より幅広い用途に寄せた選択肢です。AI向けにはTensor Coreが強力ですが、NVIDIAのH100 SXM仕様表には、従来型のFP64やFP32性能に加えて、TF32、BF16、FP16、FP8、INT8のTensor Coreモードも掲載されています 。同じアクセラレータ基盤で、異なる精度要件や異なる種類の実験を支えたい場合、この幅の広さは大きな意味を持ちます。

公開スペックは参考になるが、ベンチマークではない

TPUとGPUの仕様表は、比較の出発点として有用です。ただし、同じ土俵のベンチマークではありません。精度モード、システム構成、メモリ条件、分散の前提が違うため、数字を横に並べただけで勝敗は決まりません。

Google Cloudは、H100を搭載するA3マシンタイプについて、1基、2基、4基、8基のH100 GPUを接続した構成と、GPUあたり80GB HBM3を文書化しています 。またGoogle CloudのAI Hypercomputer関連資料では、TPUと、NVIDIA H100 GPUで動くA3 VMが同じAIインフラの選択肢として扱われています 。実務上は「Google CloudのTPUか、別クラウドのGPUか」ではなく、「同じクラウド上でTPUとH100をどう使い分けるか」という検討になることもあります。

Google TPUが向くワークロード

TPUは、専用性が制約ではなく強みになるときに候補の上位へ来ます。次の条件に当てはまるなら、検証する価値があります。

• 学習または推論の中心が、大規模なテンソル演算を多用する深層学習である 。
• モデルのテンソル形状、バッチ、シャーディングが安定しており、TPU向けに最適化しやすい。
• TPUのPodサイズ、ホストサイズ、HBM容量、帯域幅、BF16/INT8スループットを前提にスケール設計できる。JAXの資料でも、これらはモデル拡張を考えるうえで主要な項目として整理されています 。
• Google Cloudでの運用が前提で、最大の可搬性よりも、特定モデル群での実測コスト性能を重視する。
• 書き換えやデバッグの負担が、期待できる性能・コスト改善に見合う。

TPUは、チップを高い利用率で動かせるワークロードでは魅力的です。ただし、それはワークロードごとの結果であって、常にTPUが安い、常に速い、という意味ではありません。GoogleはAI推論におけるGPUとTPUの性能対費用に関する資料を公開しており、推論コストもモデルや構成ごとに見るべきテーマだと分かります 。

NVIDIA H100 GPUが向くワークロード

H100は、専用性よりも柔軟性が重要なときに強い選択肢です。特に次のような場合は、H100を第一候補にしやすいでしょう。

• FP64やFP32のような高精度モードと、BF16、FP16、FP8、INT8のような低精度Tensor Coreモードの両方が必要になる。H100 SXMの公開表には、これらの精度モードが掲載されています 。
• 既存のコードベース、カーネル、ライブラリ、監視・運用の仕組みがGPU前提で作られている。
• ひとつのアクセラレータプールで、モデル学習、推論、実験、周辺処理など、複数タイプのワークロードを支えたい。
• Google Cloud上でH100搭載VMを使いたい。A3マシンタイプは、1基、2基、4基、8基のH100 GPUを接続した構成として文書化されています 。
• 理論上のチップ効率よりも、移行リスクを抑えることが重要である。

H100を選ぶ最大の理由は、「あらゆるベンチマークで1基のGPUが1基のTPUを上回るから」ではありません。要件が変わっても対応しやすい、という柔軟性です。研究開発から本番運用まで同じ基盤で回したい組織では、この柔軟性そのものが価値になります。

コスト比較で見るべきもの

価格だけの比較は分かりやすく見えますが、危うい判断になりがちです。ある第三者比較では、Google Cloud TPU v5eが約1.20ドル/チップ時間、Azure ND H100 v5の例が80GB H100 GPUあたり約12.84ドル/GPU時間とされています 。ただし、これはクラウド横断の一例であり、同一条件の公式価格比較ではありません。したがって、「TPUのほうが常に安い」と結論づける材料ではなく、あくまで方向感として扱うべきです。

より実務的なコスト比較では、次を測ります。

1. 有効スループット：学習ステップ/秒、サンプル/秒、トークン/秒、または目標バッチサイズでのレイテンシ。
2. 精度モード：FP8、BF16、FP16、TF32、FP32、FP64、INT8の数字は互換ではありません 。
3. メモリ容量と帯域幅：大規模モデル、長いコンテキスト、バッチサイズによって、ボトルネックはピーク演算性能からメモリ側へ移ります 。
4. スケール時の挙動：TPUのPodトポロジーと、H100 VMの構成は、分散学習や推論基盤の設計に影響します 。
5. 利用率：時間単価が安く見えても、アクセラレータが遊んでいれば総コストは下がりません。
6. エンジニアリングコスト：移植、コンパイラ対応、デバッグ、監視、デプロイ変更の工数が、チップ時間の節約分を上回ることがあります。

最終的に見るべき指標は、学習ステップあたり、収束したモデルあたり、推論トークンあたり、または目標レイテンシ達成あたりの総コストです。

判断マトリクス

まとめ

TPUは、より専用度の高いAIアクセラレータです。H100は、より柔軟性の高いアクセラレータプラットフォームです。モデルがTPUに合い、深層学習中心で、Google Cloudでの運用が前提なら、TPUは有力なコスト性能候補になります。一方で、幅広い数値精度、混在ワークロード、既存GPU運用との連続性、移行リスクの低さを重視するなら、NVIDIA H100 GPUのほうが無難な選択になりやすいでしょう 。

ただし、最後に信頼できる答えはひとつだけです。実際に使うモデルで、スループット、メモリ挙動、利用率、総コスト、エンジニアリング工数を測ること。TPUかH100かは、スペック表ではなく、あなたのワークロードが決めます。