Waymo CarTPU : dans la puce 5 nm qui prépare les données des robotaxis

La puce personnalisée de Waymo doit être comprise comme la couche de calcul située au contact des capteurs du Waymo Driver. Connue en interne, selon les informations disponibles, sous le nom de « carTPU », cette puce ASIC gravée en 5 nm reçoit les flux de données à haut débit, en extrait les caractéristiques et produit des représentations d’apprentissage automatique fusionnées pour l’ordinateur principal du véhicule. Il s’agit d’un composant spécialisé en amont, pas d’un système autonome capable de remplacer toute la chaîne de conduite. 171

Une puce spécialisée avant le « cerveau » de conduite

Waymo décrit son processeur comme un ASIC conçu sur mesure en 5 nm pour traiter, fusionner et exploiter des réseaux neuronaux sur les données brutes des capteurs, en temps réel. L’objectif annoncé est de réduire au maximum le délai entre l’arrivée du premier pixel capté par un véhicule et la représentation utilisée ensuite pour prendre les décisions de conduite. 1719

Cette répartition des tâches est essentielle. L’ASIC prend en charge une étape particulièrement exigeante de la perception, tandis que la plateforme embarquée dans son ensemble reste hétérogène. Elle associe les technologies d’apprentissage automatique développées par Waymo à des CPU, des GPU et d’autres accélérateurs chargés notamment de l’orchestration, du déplacement des données et de la journalisation. 1

Autrement dit, Waymo n’a pas « remplacé Nvidia par une seule puce ». L’entreprise cite Nvidia et AMD parmi ses partenaires matériels, aux côtés de Micron, Samsung, SanDisk, Socionext et TSMC. 173

Quels capteurs sont fusionnés en temps réel ?

La description publique de Waymo cite explicitement trois catégories de capteurs :

• Le lidar, qui fournit une représentation tridimensionnelle de l’environnement ;
• Le radar, qui apporte des informations complémentaires de détection et de distance ;
• Les caméras, notamment les flux à haute résolution du véhicule.

Le processeur assure le traitement en temps réel, l’extraction de caractéristiques et la fusion des données par réseau neuronal. Waymo mentionne également une réduction temporelle du bruit pour améliorer la perception en basse lumière. 1

Les comptes rendus de la présentation donnée à Hot Chips indiquent que le système traite simultanément 13 flux vidéo haute résolution et que les représentations issues des caméras, du lidar et du radar alimentent l’encodeur de fusion des capteurs. 158

En revanche, les sources primaires disponibles ne confirment pas indépendamment une fusion des microphones. La sixième génération de capteurs de Waymo comprend bien des récepteurs audio externes, mais cela ne suffit pas à établir que les données audio sont traitées par cet ASIC. 23

Les caractéristiques rapportées à Hot Chips

Les chiffres les plus détaillés proviennent de la couverture de Hot Chips et de documents de présentation, plutôt que de l’annonce publique de Waymo. Ces sources rapportent la configuration suivante : 1516

Caractéristique	Détail rapporté
Technologie de fabrication	Procédé automobile N5 de TSMC en 5 nm
Boîtier	FCBGA de 45 × 45 mm
Surface de la puce	208 mm²
Mémoire	LPDDR5X intégrée au boîtier
Bande passante mémoire	273 Go/s
Consommation	Moins de 75 W
Performances en IA	Plus de 1 000 TOPS
Connexions hôtes	PCIe Gen5 x8 et Ethernet 25 Gb

Ces dimensions, chiffres de mémoire et données de consommation doivent être considérés comme des spécifications rapportées, et non comme des éléments confirmés séparément dans l’annonce de Waymo. La publication officielle confirme la fonction de la puce, sa fabrication en 5 nm, son architecture hétérogène, la performance annoncée de plus de 1 000 TOPS et son écosystème de partenaires. La couverture secondaire fournit une grande partie des détails d’implémentation. 1715

Une architecture hétérogène pensée pour réduire la latence

Selon les informations présentées, le design associe des blocs développés par Waymo pour le traitement d’image, les codecs vidéo, l’acquisition des capteurs via MIPI et la mémoire scratchpad, à des capacités GPU tierces, au PCIe Gen5, à l’Ethernet 25 Gb et à des composants de démarrage sécurisé. Les sources rapportent également 2 Mo de SRAM répartie par élément de traitement. 1516

L’enjeu n’est pas seulement d’afficher le plus grand nombre possible de TOPS. Waymo met l’accent sur une exécution déterministe et à très faible latence, ainsi que sur une conception étroitement coordonnée du matériel et des logiciels. Les comptes rendus de la présentation évoquent une approche « compiler-first » et l’exécution de grands « méga-kernels », afin d’optimiser conjointement le silicium et la pile logicielle, depuis l’arrivée des données des capteurs jusqu’à la production des représentations. 15

Cette logique répond aux contraintes particulières du calcul embarqué automobile. Le système doit traiter d’immenses volumes de données en temps réel tout en respectant des limites strictes de consommation, de chaleur, d’espace et de résistance aux vibrations, avec des exigences élevées en matière de tolérance aux pannes. Waymo indique que sa plateforme de calcul utilise un refroidissement liquide et deux moteurs de calcul indépendants ; en cas de défaillance de l’un d’eux, l’autre peut prendre le relais. 1

Pourquoi le chiffre de 1 000 TOPS ne suffit pas

Le dépassement des 1 000 TOPS constitue le chiffre d’appel, mais il ne permet pas à lui seul d’évaluer l’efficacité d’un ordinateur destiné à la conduite autonome. Il faut aussi savoir quelles opérations sont mesurées, avec quelle efficacité les modèles s’exécutent, quelle quantité de données doit circuler et à quelle vitesse le système transforme les données brutes en une représentation exploitable.

La présentation de Waymo situe son ASIC personnalisé au niveau d’un accélérateur frontal optimisé pour ses propres capteurs et modèles. En traitant les données près de leur point d’entrée dans le véhicule, il doit améliorer l’efficacité de la bande passante et réduire la latence, plutôt que d’envoyer chaque flux brut à un processeur central généraliste. 172

Les informations publiées ne permettent toutefois pas d’établir clairement si le chiffre de plus de 1 000 TOPS concerne un seul moteur ou une paire de moteurs redondants. Il ne faut donc pas l’interpréter comme une mesure simple du débit réellement disponible pour l’ensemble du système sans clarification supplémentaire. 14

Le message stratégique : fusion multimodale et conception conjointe

Daniel Rosenband a présenté l’objectif de Waymo comme la création d’un « conducteur surhumain », capable de provoquer beaucoup moins d’accidents que les humains, plutôt qu’un système se contentant d’égaler la perception humaine. Cette vision s’accompagne d’une défense de l’association des caméras, du lidar et du radar, à rebours d’une approche reposant uniquement sur les caméras. 6

La stratégie matérielle suit la même logique : Waymo conçoit conjointement les capteurs, les algorithmes et le silicium en fonction des contraintes de la conduite autonome. La sixième génération du Waymo Driver utilise un système de perception multimodal dans lequel caméras haute résolution, radar imageur et lidar fonctionnent ensemble. 22

Rosenband a également évoqué des ambitions à plus long terme : faire fonctionner dans une voiture des modèles d’IA considérablement plus vastes, jusqu’à un éventuel modèle de mille milliards de paramètres, et réduire la taille de l’informatique embarquée, d’un équipement comparable à une « boîte à pizza » vers un format proche de celui d’un ordinateur portable. Il s’agit d’objectifs futurs, et non de capacités annoncées pour le processeur actuel. 6

Ce que Waymo a réellement dévoilé

Le principal enseignement n’est pas que Waymo aurait créé une puce unique capable de conduire seule un robotaxi. L’entreprise construit plutôt une chaîne de calcul spécialisée autour de l’un des problèmes les plus difficiles de la perception : convertir de nombreux flux de capteurs à haut débit en représentations fiables et produites avec suffisamment peu de latence pour alimenter le système principal d’autonomie.

Le noyau confirmé de l’annonce est un ASIC personnalisé en 5 nm, affichant plus de 1 000 TOPS pour les tâches d’apprentissage automatique, capable de fusionner en temps réel les données des caméras, du lidar et du radar, intégré à une plateforme de calcul hétérogène et redondante, et développé avec un vaste réseau de partenaires matériels. 171

Les spécifications plus précises rapportées à Hot Chips — boîtier de 45 × 45 mm, puce de 208 mm², bande passante LPDDR5X de 273 Go/s et consommation inférieure à 75 W — rendent le design plus concret, mais restent principalement des informations issues de sources secondaires. 1511

Ensemble, ces éléments montrent que Waymo aborde la conduite autonome comme un problème de calcul en périphérie et d’ingénierie système. La latence, la fiabilité, la diversité des capteurs et l’efficacité énergétique comptent ici autant que la puissance brute des modèles d’IA.