Что скрывает CarTPU Waymo: процессор, который объединяет данные лидаров, радаров и камер

Специализированный Sensor Fusion Processor Waymo правильнее всего воспринимать как вычислительный слой на входе сенсорной системы Waymo Driver. Внутри компании его, как сообщается, называют «carTPU». Этот ASIC, изготовленный по 5-нм техпроцессу, принимает высокоскоростные потоки данных от сенсоров, извлекает признаки и формирует объединённые ML-представления для главного бортового компьютера. Это специализированный фронтенд, а не самостоятельная замена всей системе автономного вождения. 171

Сначала сенсоры, потом основной «мозг»

Waymo описывает чип как созданный специально под задачи 5-нм ASIC, способный в реальном времени обрабатывать необработанные данные сенсоров, объединять их и запускать на них нейросетевые модели. Заявленная цель — сократить путь от первого пикселя, поступившего с сенсора, до представления, которое используется системой для управления автомобилем. 1719

Такое разделение задач принципиально важно. ASIC берёт на себя сложный ранний этап восприятия окружающей обстановки, тогда как вся бортовая платформа остаётся гетерогенной: помимо фирменных ML-компонентов, в ней используются CPU, GPU и другие ускорители для координации, перемещения данных и журналирования. 1

Иными словами, речь не идёт о том, что «Waymo заменила Nvidia одним чипом». Среди своих аппаратных партнёров компания называет Nvidia и AMD, а также Micron, Samsung, SanDisk, Socionext и TSMC. 173

Какие данные чип объединяет в реальном времени

В публичном описании Waymo прямо упоминаются три категории сенсоров:

• Лидары — для получения трёхмерной информации об окружающей среде;
• Радары — для дополнительного обнаружения объектов и оценки расстояния;
• Камеры — включая потоки с камер высокого разрешения.

Процессор в реальном времени выполняет предварительную обработку, извлечение признаков и нейросетевое объединение данных из этих источников. Waymo также заявляет о временном шумоподавлении, которое помогает системе воспринимать обстановку при слабом освещении. 1

Согласно материалам о презентации на Hot Chips, система одновременно обрабатывает 13 потоков с камер высокого разрешения, а эмбеддинги камер, лидаров и радаров поступают в энкодер объединения сенсорных данных. 158 Доступные первичные материалы не подтверждают независимо объединение данных с микрофонов. Поэтому считать обработку аудиоданных подтверждённой функцией этого ASIC не следует. В сенсорный комплект Waymo шестого поколения действительно входят внешние аудиоприёмники, но само по себе это не доказывает, что их сигналы объединяются именно этим процессором. 23

Заявленные характеристики CarTPU

Самые подробные технические параметры появились в материалах Hot Chips и публикациях по итогам презентации, а не в официальном анонсе Waymo. В этих источниках указаны следующие характеристики: 1516

Параметр	Заявленные данные
Техпроцесс	Автомобильная версия TSMC 5 нм N5
Корпус	FCBGA, 45 × 45 мм
Площадь кристалла	208 мм²
Память	Встроенная LPDDR5X
Пропускная способность памяти	273 ГБ/с
Энергопотребление	Менее 75 Вт
Производительность ML	Более 1 000 TOPS
Подключение к хост-системе	PCIe Gen5 x8 и Ethernet 25 Гбит/с

Размер корпуса, площадь кристалла, параметры памяти и энергопотребление следует воспринимать именно как опубликованные в отчётах характеристики, а не как детали, независимо подтверждённые официальным сообщением Waymo. Компания официально подтвердила назначение чипа, 5-нм производство, гетерогенную архитектуру, показатель свыше 1 000 TOPS и список партнёров, тогда как значительная часть подробностей реализации пришла из вторичных материалов. 1715

Гетерогенная архитектура с приоритетом задержки

По данным о презентации, в конструкции объединены разработанные Waymo блоки обработки изображений, видеокодеков, приёма данных по MIPI и scratchpad-памяти, а также сторонние GPU-компоненты, PCIe Gen5, Ethernet 25 Гбит/с и IP-блоки безопасной загрузки. Кроме того, сообщается о 2 МБ банковой SRAM на каждый вычислительный элемент. 1516

Архитектура ориентирована не только на максимальную пропускную способность. Waymo делает ставку на предсказуемое выполнение с низкой задержкой и тесную совместную разработку аппаратного и программного обеспечения. Согласно описанию презентации, компиляторный подход позволяет выполнять крупные «мега-ядра», настраивая программный стек и кремний совместно — от поступления исходных данных с сенсоров до формирования эмбеддингов. 15

Для автомобильных вычислений это особенно важно. Система должна в реальном времени обрабатывать огромные объёмы данных, оставаясь в пределах ограничений по энергопотреблению, нагреву, габаритам, вибрациям и отказоустойчивости. Waymo утверждает, что её вычислительная платформа использует жидкостное охлаждение и два независимых вычислительных движка: если один выходит из строя, второй может взять его задачи на себя. 1

Почему показатель 1 000 TOPS не рассказывает всей истории

Более 1 000 TOPS — самая заметная цифра в презентации, но сама по себе она не позволяет оценить эффективность вычислительной системы для беспилотного автомобиля. Важно понимать, какие именно операции учитываются, насколько эффективно запускаются модели, сколько данных приходится перемещать и как быстро система превращает необработанные сенсорные сигналы в полезное представление.

Публичные материалы Waymo позиционируют ASIC как фронтенд-ускоритель, оптимизированный под собственный набор сенсоров и модели компании. Обрабатывая данные рядом с местом их поступления в автомобиль, он должен повысить эффективность использования пропускной способности и снизить задержку, вместо того чтобы передавать все исходные потоки непосредственно универсальному центральному процессору. 172

Доступные публикации также не устанавливают, относится ли показатель свыше 1 000 TOPS к одному вычислительному движку или к паре резервирующих друг друга блоков. Поэтому без дополнительных разъяснений эту цифру нельзя напрямую трактовать как объём полезной системной производительности. 14

Стратегический сигнал Waymo: сенсоры и кремний проектируются вместе

Дэниел Розенбанд сформулировал цель Waymo как создание «сверхчеловеческого водителя», который попадал бы в аварии значительно реже людей, а не просто имитировал человеческое восприятие. В том же контексте он защищал сочетание камер, лидаров и радаров вместо подхода, основанного только на камерах. 6

Аппаратная стратегия компании следует той же логике: Waymo совместно проектирует сенсоры, алгоритмы и кремний под требования автономного вождения. В шестом поколении Waymo Driver используется мультимодальная система, в которой камеры высокого разрешения, радары с формированием изображения и лидары работают как единый комплекс. 22

Розенбанд также говорил о долгосрочной перспективе запуска в автомобиле гораздо более крупных ИИ-моделей — вплоть до модели со «триллионом параметров» — и о сокращении бортового компьютера с размера «коробки для пиццы» до габаритов ноутбука. Это планы на будущее, а не возможности, заявленные для нынешнего процессора. 6

Что именно раскрыла Waymo

Главный вывод из презентации состоит не в том, что Waymo создала один чип, способный самостоятельно управлять роботакси. Компания показала специализированный вычислительный конвейер для самой сложной ранней задачи: превратить множество высокоскоростных потоков от сенсоров в надёжные представления с малой задержкой, которые затем использует основная система автономного вождения.

Подтверждённое ядро анонса — собственный 5-нм ASIC для обработки сенсорных данных, производительность которого превышает 1 000 TOPS в ML-задачах. Он объединяет данные камер, лидаров и радаров в реальном времени, входит в гетерогенную вычислительную платформу с резервированием и создаётся при участии широкого круга аппаратных партнёров. 171

Более детальные параметры Hot Chips — корпус 45 × 45 мм, кристалл площадью 208 мм², пропускная способность LPDDR5X 273 ГБ/с и энергопотребление менее 75 Вт — делают конструкцию более осязаемой, но в основном остаются характеристиками, приведёнными вторичными источниками. 1511 Вместе эти данные показывают, что Waymo рассматривает автономное вождение как задачу периферийных вычислений и комплексной инженерии: задержка, надёжность, разнообразие сенсоров и энергоэффективность здесь не менее важны, чем сами показатели ИИ-производительности.