Google TPU 定 NVIDIA H100 GPU：AI 加速器點揀先啱

架構取捨：專用，定彈性？

TPU 係針對 tensor processing 嘅專用 ASIC，重點係服務機器學習系統 。當模型 shape 穩定、batching 合理、切分（sharding）方式啱 TPU、編譯器路徑順暢，呢種專用化可以令大型而規律嘅張量工作負載更容易食盡硬件。

H100 走嘅路線就闊啲。佢有 Tensor Cores，對 AI 好進取；但 H100 SXM 規格表同時列出傳統 FP64、FP32，以及多種低精度 Tensor Core 模式 。如果同一批加速器要支援唔同實驗、唔同精度、甚至唔完全一樣嘅深度學習工作，呢種彈性就好有價值。

公開規格有用，但唔係同場直跑 benchmark

TPU 同 GPU 規格表經常用唔同精度模式、唔同系統假設、唔同擴展路徑。睇數字可以理解取捨方向，但唔應該直接當作蘋果對蘋果嘅性能排名。

Google Cloud 亦記錄 A3 機型可掛 1、2、4 或 8 張 H100 GPU，而且每張 H100 GPU 有 80GB HBM3 。Google Cloud 嘅 AI Hypercomputer 內容亦將 TPU 同使用 NVIDIA H100 GPU 嘅 A3 VM 放喺同一個 AI 基建組合入面 。換句話講，實務上唔一定係「Google Cloud 上用 TPU」對「去第二個雲用 GPU」；有時係同一雲端平台入面，喺 TPU 同 H100 之間揀。

幾時 Google TPU 會比較啱？

當專用化係優勢，而唔係限制，TPU 就值得排前啲考慮。特別係：

• 工作主要係深度學習訓練或推論，並由大型張量運算主導 ；
• 模型 shape、batch size、sharding pattern 相對穩定，可以調校到 TPU 利用率；
• 團隊願意跟 TPU 導向嘅 scaling 方法做設計；JAX scaling 文件將 pod size、host size、HBM 容量、頻寬、BF16/INT8 throughput 視為核心規劃維度 ；
• 部署環境本身已經打算用 Google Cloud；
• 商業目標係針對少數模型做實測 cost-performance，而唔係追求最多 workload 都能搬來搬去。

TPU 可以好吸引，但「吸引」係 workload 跑出嚟嘅結果，唔係普遍定律。Google Cloud 曾發布 AI inference 上 GPU 同 TPU 嘅 performance-per-dollar 分析 ，呢點亦提醒大家：推論經濟效益要睇模型同設定，唔存在單一放諸四海皆準嘅加速器排名。

幾時 NVIDIA H100 GPU 會比較啱？

如果你重視彈性多過專用化，H100 通常係較穩陣嘅候選。特別係：

• 你需要 FP64、FP32 等較高精度模式，同時又要 TF32、BF16/FP16、FP8、INT8 等 Tensor Core 模式；H100 SXM 公開表就列出呢批模式 ；
• 既有 codebase 已經依賴 GPU 導向 kernel、函式庫或者營運工具；
• 同一批硬件要支援多種 workload，而唔係只跑一個窄模型家族；
• 你想喺 Google Cloud 用 H100 VM；A3 machine types 文件列出 1、2、4 或 8 張 H100 GPU 嘅配置 ；
• 你更在意遷移風險，而唔係理論上某粒晶片可能有更高效率。

H100 最強嘅論點，唔係「每個 benchmark 都一定贏 TPU」。更實際嘅講法係：當需求會變、模型會換、精度會調，GPU 平台通常比較容易承接。

成本：唔好只比每 chip-hour 價錢

價錢好容易比較，但亦好容易比較錯。一個第三方比較曾列出 Google Cloud TPU v5e 約 $1.20 每 chip-hour，Azure ND H100 v5 例子則約 $12.84 每個 80GB H100 GPU-hour 。不過，呢個係跨雲、第三方、非官方嘅比較，只可以當方向參考，唔可以直接推論「TPU 一定平」。

更實際嘅成本比較，要一齊量度：

1. 有效吞吐量：每秒 training step、sample、token，或者指定 batch size 下嘅 latency。
2. 精度模式：FP8、BF16、FP16、TF32、FP32、FP64、INT8 之間唔可以直接互換；TPU 同 H100 表列嘅模式亦唔一樣 。
3. 記憶體容量同頻寬：大模型、長 context、batch size 可能令瓶頸由峰值 compute 轉到 HBM 或頻寬 。
4. 擴展行為：TPU pod topology 同 H100 VM 配置，會影響分散式訓練同 serving 設計 。
5. 使用率：閒置嘅加速器一樣燒錢，就算每小時單價睇落吸引都冇用。
6. 工程成本：porting、compiler 調校、debug、monitoring、deployment 改動，隨時抵消 chip-hour 上嘅節省。

最後要問嘅唔係「邊粒 chip 平」，而係：每個有效輸出要幾多錢？可以係每個 training step、每個收斂模型、每個 inference token，或者達到指定 latency 目標嘅總成本。

決策矩陣

Bottom line

用一句話講：TPU 更似專用 AI 加速器；H100 更似彈性加速平台。若果你個模型 TPU-friendly、深度學習成分重，而且本身已經打算上 Google Cloud，TPU 可以係更值得測試嘅 cost-performance 選項。若果你需要廣泛數值模式、混合工作負載、GPU 導向營運延續性，或者想減低遷移風險，NVIDIA H100 GPU 通常係較安全嘅預設選擇 。

最可靠嘅最終答案，仍然係用你真正要訓練或 serving 嘅模型做 workload-specific benchmark：量度吞吐量、記憶體行為、使用率、總成本，同埋工程投入。