Google TPU 还是 NVIDIA H100 GPU：AI 加速器怎么选

很多 AI 硬件讨论最后都会变成一句话：TPU 和 GPU，到底谁更快？这个问题太粗了。

Google TPU（Tensor Processing Unit，张量处理器）是面向机器学习张量计算的专用 AI 加速器 。NVIDIA H100 SXM 则是数据中心 GPU，公开规格覆盖 FP64、FP32、TF32 Tensor Core、BF16/FP16 Tensor Core、FP8 Tensor Core 和 INT8 Tensor Core 等多种模式 。前者强调专用化，后者强调灵活性。

为了让比较落到实处，本文把 NVIDIA H100 SXM 和 Google Cloud A3 H100 虚拟机作为 GPU 参照，把 TPU v5e、v5p、v6e 作为 TPU 参照 。结论先说在前面：不要只看峰值 FLOPS，要看你的模型是否跑得合适、软件栈是否顺手、显存是否够、扩展是否顺、迁移成本是否可控。

先给结论：什么时候选谁

• 优先看 Google TPU：如果你的任务主要是深度学习，模型形状、batch 和切分方式比较适合 TPU，并且团队愿意按 TPU 的方式做扩展。JAX 的 TPU 扩展文档把 pod 拓扑、单芯片 HBM、带宽、BF16 和 INT8 吞吐都列为规划维度 。
• 优先看 NVIDIA H100 GPU：如果你需要更广的数值精度支持，或者同一批硬件要跑多种不同任务，H100 的灵活性更占优势。NVIDIA 公布的 H100 SXM 表格列出了 FP64、FP32、TF32 Tensor Core、BF16/FP16 Tensor Core、FP8 Tensor Core 和 INT8 Tensor Core，并配有 80GB HBM3 与 3.35TB/s 内存带宽 。
• 成本敏感就必须实测：芯片峰值、每小时价格和厂商说法都不能替代你自己模型上的测试。真正要比的是每个有效训练 step、每个推理 token，或者达到目标延迟时的总成本。

架构思路：专用化，还是灵活性

TPU 的核心卖点是专用化。作为面向张量处理的 ASIC，它适合大规模、规则性强的机器学习计算 。当编译路径、张量形状、batch、模型切分都比较配合时，TPU 能更容易把硬件利用起来。

H100 的路线更宽。它当然为 AI 做了大量优化，尤其是 Tensor Core；但 H100 SXM 的公开规格同时覆盖传统 FP64、FP32，以及多种低精度 Tensor Core 模式 。这对实际团队很重要：同一套加速器资源池，可能今天跑大模型训练，明天跑推理，后天又要支持需要不同精度的实验。

换句话说，TPU 像是为某类赛道优化的赛车；H100 更像一台适应面更广的高性能平台。谁更合适，要看你跑的到底是哪条路。

规格表怎么读：有用，但不能当成最终 benchmark

公开规格能帮你看清取舍，但不能直接等同于真实性能。TPU 和 GPU 的表格常常使用不同精度模式、不同系统假设、不同扩展路径；单看一个峰值数字，很容易误判。

加速器	公开内存指标	公开带宽指标	公开算力指标	更适合这样理解
TPU v5e	每芯片 16GB HBM	每芯片 8.1e11 bytes/s	每芯片 1.97e14 BF16 FLOPs/s；每芯片 3.94e14 INT8 FLOPs/s	在 JAX 表格列出的 v5e、v5p、v6e 中，v5e 的单芯片 HBM 较小，模型和 batch 的内存适配要特别确认 。
TPU v5p	每芯片 96GB HBM	每芯片 2.8e12 bytes/s	每芯片 4.59e14 BF16 FLOPs/s；每芯片 9.18e14 INT8 FLOPs/s	在这几项 TPU 参照中，v5p 的单芯片 HBM 最高 。
TPU v6e	每芯片 32GB HBM	每芯片 1.6e12 bytes/s	每芯片 9.20e14 BF16 FLOPs/s；每芯片 1.84e15 INT8 FLOPs/s	在这些 TPU 行中，v6e 的单芯片 BF16 和 INT8 吞吐最高 。
NVIDIA H100 SXM	80GB HBM3	3.35TB/s	34 TFLOPS FP64；67 TFLOPS FP64 Tensor Core；67 TFLOPS FP32；989 TFLOPS TF32 Tensor Core；1,979 TFLOPS BF16/FP16 Tensor Core；3,958 TFLOPS FP8 Tensor Core；3,958 TOPS INT8 Tensor Core	精度覆盖更广，内存带宽高，更偏通用型加速器平台 。

还要注意，Google Cloud 上并不是只有 TPU。Google Cloud 文档列出了使用 H100 的 A3 机器类型，可挂载 1、2、4 或 8 块 H100 GPU，并且每块 GPU 配 80GB HBM3 。Google Cloud 的 AI Hypercomputer 相关材料也把 TPU 和运行 H100 GPU 的 A3 VM 放在同一套 AI 基础设施组合中 。因此，在实际采购或上云时，问题不一定是 Google Cloud 的 TPU 对比别处的 GPU，也可能是在同一云平台内比较两条路线。

什么情况下 TPU 更值得优先评估

如果专用化带来的是效率，而不是束缚，TPU 就应该排在候选名单前面。典型场景包括：

• 任务主要是由大规模张量运算主导的深度学习训练或推理 ；
• 模型形状、batch、大规模切分方式相对稳定，能够围绕 TPU 做优化；
• 团队愿意采用 TPU 导向的扩展实践；JAX 扩展文档把 pod 规模、host size、HBM 容量、带宽、BF16/INT8 吞吐等作为核心规划因素 ；
• 部署环境已经明确是 Google Cloud；
• 业务目标是少数模型上的实测性价比，而不是让硬件适配尽可能多的工作负载。

TPU 的价值往往出现在芯片能被持续喂饱、模型不用付出高昂改写成本的时候。但这不是一句“TPU 一定更快”就能概括的。Google 曾发布过关于 GPU 和 TPU 在 AI 推理中每美元性能的材料，这也说明推理经济性取决于模型和配置，而不是存在一个放之四海皆准的加速器排名 。

什么情况下 H100 GPU 更稳妥

如果灵活性比专用化更重要，NVIDIA H100 通常更合适。尤其是这些情况：

• 你需要 FP64、FP32 等较高精度模式，同时也需要 TF32、BF16、FP16、FP8、INT8 等 Tensor Core 模式；H100 SXM 的公开表格覆盖这些条目 ；
• 现有代码、kernel、库、监控和部署流程已经围绕 GPU 生态搭建；
• 同一批硬件要服务多类任务，而不是只服务一个相对固定的模型家族；
• 你希望在 Google Cloud 上使用 H100 VM 形态；A3 机器类型文档显示可挂载 1、2、4 或 8 块 H100 GPU ；
• 迁移风险比理论上的芯片效率提升更重要。

H100 最强的理由，不一定是“每个 benchmark 都能赢”。更现实的理由是：当需求变化时，GPU 平台通常更容易接住变化。

成本：不要只比芯片小时价

价格很容易拿来做对比，但也最容易误导。有第三方比较曾列出 Google Cloud TPU v5e 约为每芯片小时 1.20 美元，Azure ND H100 v5 示例约为每块 80GB H100 GPU 小时 12.84 美元 。但这属于跨云比较，而且不是官方统一口径，所以只能当作方向性信息，不能直接得出“TPU 一定更便宜”的结论。

更好的成本比较，应当把整套系统算进去：

1. 有效吞吐：每秒训练 step、每秒样本数、每秒 token，或者目标 batch 下的延迟。
2. 精度模式：FP8、BF16、FP16、TF32、FP32、FP64、INT8 的数字不能互相替代 。
3. 内存容量和带宽：大模型、长上下文和 batch size 可能让瓶颈从峰值算力转向内存 。
4. 扩展行为：TPU pod 拓扑和 H100 VM 配置会影响分布式训练与服务架构 。
5. 利用率：闲置的加速器再便宜也贵；高峰值但低利用率同样不划算。
6. 工程成本：迁移、编译器适配、调试、监控、上线流程改造，都可能吃掉芯片小时价上的优势。

所以，最实用的指标不是单块芯片多少钱，而是每个有效输出多少钱：每个训练 step、每个收敛后的模型、每个推理 token，或者每个目标延迟。

决策矩阵

你的优先级	更合理的默认选择	原因
Google Cloud 上的 TPU 友好型深度学习	Google TPU	公开 TPU 文档把 pod 扩展、HBM、带宽、BF16/INT8 吞吐作为模型扩展规划重点 。
需要广泛精度支持	NVIDIA H100 GPU	H100 SXM 列出 FP64、FP32、TF32 Tensor Core、BF16/FP16 Tensor Core、FP8 Tensor Core 和 INT8 Tensor Core 等模式 。
已在 Google Cloud，但希望保留选择空间	两者都 benchmark	Google Cloud 既有 A3 H100 机器类型，也把 TPU 和 H100 A3 VM 放在 AI 基础设施组合中 。
追求最低推理成本	两者都 benchmark	Google 发布过 AI 推理每美元性能分析；第三方芯片小时价格示例只能作方向参考，且涉及跨云比较 。
已有 GPU 优先生态的生产系统	NVIDIA H100 GPU	降低迁移风险，可能比追求理论上的加速器效率提升更有价值。

最后怎么选

把 TPU 视为更专用的 AI 加速器，把 H100 视为更灵活的加速器平台。若你的模型高度适合 TPU、任务主要是深度学习，并且部署本来就面向 Google Cloud，TPU 很可能是更值得测试的性价比方案。若你需要更广的数值模式、混合工作负载、GPU 生态连续性或更低迁移风险，NVIDIA H100 GPU 通常是更安全的默认选择 。

真正可靠的答案只有一个：用你计划训练或服务的那个模型，实测吞吐、内存行为、利用率、总成本和工程投入。谁在你的 workload 上以更低成本稳定产出，谁才是正确选择。