Google TPU против NVIDIA GPU: какой ИИ-ускоритель выбрать

Архитектура: специализация против универсальности

TPU — это специализированные ASIC-ускорители для тензорной обработки в ML-системах . Именно специализация делает их привлекательными для крупных и регулярных тензорных нагрузок: если путь через компилятор, формы тензоров, batching и sharding хорошо подходят TPU, больше вычислительных блоков работает полезно, а не простаивает.

H100 устроен иначе. Это GPU, сильно оптимизированный под ИИ через Tensor Cores, но его публичная таблица характеристик также включает обычные FP64 и FP32, плюс несколько низкоточных Tensor Core режимов . Такая широта важна, когда один пул ускорителей должен обслуживать не одну узкую модель, а эксперименты, обучение, инференс и задачи с разными требованиями к точности.

Спецификации помогают, но не отвечают за вас

Сырые цифры показывают контуры выбора, но это не готовый benchmark. Таблицы TPU и GPU часто используют разные форматы точности, разные системные допущения и разные сценарии масштабирования.

Google Cloud также описывает A3-машины с H100: варианты с 1, 2, 4 или 8 подключенными GPU H100 и 80 ГБ HBM3 на каждый GPU . В материалах Google Cloud AI Hypercomputer TPU и A3 VM с NVIDIA H100 рассматриваются как части одного портфеля ИИ-инфраструктуры . Поэтому на практике выбор не всегда выглядит как TPU в Google Cloud против GPU где-то еще.

Когда Google TPU выглядит сильнее

TPU стоит поставить в верхнюю часть списка, если специализация помогает, а не мешает. Это особенно актуально, когда:

• задача — обучение или инференс deep learning модели, где основную работу делают крупные тензорные операции ;
• формы тензоров, batch size и схема sharding достаточно стабильны и могут быть настроены под хорошую загрузку TPU;
• команда готова учитывать TPU-ориентированные параметры масштабирования: документация JAX рассматривает размер пода, размер хоста, HBM, bandwidth и BF16/INT8 throughput как ключевые параметры планирования ;
• Google Cloud уже выбран как среда развертывания;
• бизнес-цель — добиться лучшей измеренной цены-производительности на ограниченном наборе моделей, а не обеспечить максимальную переносимость под любые нагрузки.

TPU может быть очень выгодным, когда модель действительно держит чипы занятыми и не требует дорогой переработки кода. Но это свойство конкретной нагрузки, а не универсальное правило. Google публиковала материалы о performance-per-dollar для GPU и TPU в AI inference, что дополнительно показывает: экономика инференса зависит от модели и конфигурации, а не от единого рейтинга ускорителей на все случаи .

Когда NVIDIA H100 — более безопасный выбор

NVIDIA H100 обычно сильнее там, где гибкость важнее специализации. Такой выбор особенно разумен, если:

• нужны не только низкоточные режимы, но и FP64 или FP32: в публичной таблице H100 SXM есть FP64, FP32, TF32 Tensor Core, BF16/FP16 Tensor Core, FP8 Tensor Core и INT8 Tensor Core ;
• кодовая база уже зависит от GPU-ориентированных kernels, библиотек и операционного tooling;
• один и тот же парк ускорителей должен обслуживать разные типы задач, а не одну узкую линейку моделей;
• нужны H100 VM-формы в Google Cloud: A3 machine types документированы с 1, 2, 4 или 8 подключенными H100 GPU ;
• риск миграции важнее потенциального выигрыша в эффективности отдельного чипа.

Главный аргумент в пользу H100 не в том, что один GPU всегда быстрее одного TPU-чипа во всех тестах. Сильная сторона H100 — более универсальная платформа, когда требования меняются.

Стоимость: не сравнивайте только цену чип-часа

Цены удобно сравнивать в одну строку, но такой подход легко вводит в заблуждение. Один сторонний обзор приводил Google Cloud TPU v5e примерно за 1,20 доллара за чип-час и пример Azure ND H100 v5 примерно за 12,84 доллара за час 80-гигабайтного H100 GPU . Но это кросс-облачное и неофициальное сравнение, поэтому его лучше воспринимать как ориентир, а не как доказательство, что TPU всегда дешевле.

Более честный расчет должен учитывать всю систему:

1. Полезную пропускную способность: шаги обучения в секунду, samples/s, tokens/s или задержку при целевом batch size.
2. Режим точности: FP8, BF16, FP16, TF32, FP32, FP64 и INT8 нельзя считать взаимозаменяемыми .
3. Память и bandwidth: большие модели, длинный контекст и batch size могут сделать узким местом не пиковые FLOPS, а память .
4. Поведение при масштабировании: топология TPU-пода и конфигурация H100 VM влияют на дизайн распределенного обучения и serving .
5. Утилизацию: простаивающий ускоритель дорог, даже если час его работы выглядит дешевым.
6. Инженерную цену: портирование, работа с компилятором, отладка, мониторинг и изменения deployment-процесса могут съесть экономию на чип-часах.

Практичная метрика — стоимость полезного результата: одного шага обучения, доведенной до сходимости модели, inference-токена или достижения нужной задержки.

Матрица выбора

Итог

Думайте о TPU как о более специализированном ИИ-ускорителе, а о H100 — как о более гибкой accelerator-платформе. Если модель хорошо подходит TPU, нагрузка почти полностью deep learning, а развертывание уже идет в Google Cloud, TPU может оказаться лучшей ставкой по цене-производительности. Если нужны разные числовые режимы, смешанные workloads, непрерывность GPU-ориентированной эксплуатации или меньший риск миграции, NVIDIA H100 чаще будет безопасным выбором .

Но финальный ответ дает не таблица FLOPS. Его дает ваш benchmark: throughput, поведение памяти, утилизация, полная стоимость и инженерные усилия на той модели, которую вы реально собираетесь обучать или обслуживать.