Wat Waymo’s 5nm-carTPU doet vóór het autonome rijbrein

Waymo’s eigen Sensor Fusion Processor is het best te begrijpen als de sensorgerichte rekenlaag van de Waymo Driver. De chip zou intern de naam ‘carTPU’ dragen. Deze ASIC, gebouwd op een 5nm-proces, ontvangt datastromen met hoge bandbreedte, haalt er kenmerken uit en maakt gecombineerde machinelearningrepresentaties voor de belangrijkste computer van het systeem. Het gaat dus om gespecialiseerde hardware aan de voorkant van de verwerkingsketen — niet om een zelfstandig brein dat de volledige autonome rijstack vervangt. 171

De belangrijkste onthulling: eigen hardware vóór het rijbrein

Waymo omschrijft de chip als een speciaal ontworpen 5nm-ASIC die ruwe sensordata in realtime verwerkt, samenvoegt en gebruikt voor neurale netwerken. Het doel is de tijd te verkorten tussen het eerste binnenkomende beeldpunt van een sensor en de representatie die verderop wordt gebruikt voor rijbeslissingen. 1719

Die taakverdeling is belangrijk. De ASIC neemt een veeleisend vroeg onderdeel van de waarneming voor zijn rekening, terwijl het bredere computersysteem in de auto heterogeen blijft. Het combineert eigen machinelearningtechnologie met cpu’s, gpu’s en andere versnellers voor onder meer aansturing, dataverplaatsing en logging. 1

De onthulling betekent daarom niet dat Waymo Nvidia met één chip heeft vervangen. Waymo noemt Nvidia en AMD juist als hardwarepartners, naast Micron, Samsung, SanDisk, Socionext en TSMC. 173

Welke sensoren worden in realtime gecombineerd?

Waymo noemt publiekelijk drie sensortypen:

• Lidar, voor driedimensionale informatie over de omgeving
• Radar, voor aanvullende detectie en afstandsmeting
• Camera’s, waaronder beeldstromen met hoge resolutie

De processor verwerkt deze datastromen in realtime, haalt kenmerken uit de signalen en voert neurale sensorfusie uit. Waymo noemt ook temporele ruisonderdrukking voor waarneming bij weinig licht. 1

Volgens berichtgeving over de presentatie op Hot Chips kan het systeem 13 camera’s met hoge resolutie tegelijk verwerken. Embeddings — compacte machinelearningrepresentaties — uit camera’s, lidar en radar worden naar de sensorfusie-encoder gestuurd. 158 De beschikbare primaire bronnen bevestigen echter niet zelfstandig dat microfoons door deze ASIC worden samengevoegd. De zesde generatie van Waymo’s sensorsuite beschikt wel over externe audio-ontvangers, maar dat bewijst op zichzelf niet dat microfoongegevens door deze chip worden gefuseerd. 23

De gerapporteerde specificaties

De meest gedetailleerde cijfers komen uit berichtgeving en presentatiemateriaal rond Hot Chips, en niet uit Waymo’s eigen openbare aankondiging. Daarin worden de volgende specificaties genoemd: 1516

Specificatie	Gerapporteerd detail
Productieproces	Automotive-uitvoering van TSMC’s 5nm N5-proces
Package	FCBGA van 45 × 45 mm
Die-oppervlak	208 mm²
Geheugen	LPDDR5X in het package
Geheugenbandbreedte	273 GB/s
Vermogen	Minder dan 75 W
ML-prestaties	Meer dan 1.000 TOPS
Verbinding met host	PCIe Gen5 x8 en 25Gb Ethernet

De afmetingen van het package, het die-oppervlak, het geheugen en het energieverbruik moeten worden gelezen als gerapporteerde specificaties; Waymo heeft ze niet allemaal afzonderlijk bevestigd in zijn eigen aankondiging. Dat onderscheid doet ertoe. De officiële publicatie bevestigt het doel van de chip, de productie op 5nm, de heterogene architectuur, de claim van meer dan 1.000 TOPS en het partnernetwerk. Veel implementatiedetails komen echter uit secundaire berichtgeving. 1715

Een heterogeen ontwerp waarin vertraging centraal staat

Volgens de berichtgeving combineert de processor Waymo-ontworpen onderdelen voor beeldverwerking, videocodecs, MIPI-sensorinvoer en scratchpadgeheugen met gpu-capaciteit van derden, PCIe Gen5, 25Gb Ethernet en beveiligde bootsoftware. Ook wordt 2 MB gebankt SRAM per processing element genoemd. 1516

De ontwerpprioriteit is niet alleen een zo hoog mogelijk doorvoercijfer. Waymo legt de nadruk op voorspelbare, lage latentie en een nauwe samenwerking tussen hardware en software. In de presentatie zou sprake zijn van een compiler-first-aanpak met grote ‘mega-kernels’. Daardoor kunnen de softwarestack en de chip gezamenlijk worden afgestemd op de route van binnenkomende sensordata naar embeddings. 15

Dat past bij de beperkingen van computers in voertuigen. Het systeem moet enorme hoeveelheden data realtime verwerken, terwijl het ook binnen grenzen moet blijven voor energieverbruik, warmte, fysieke ruimte, trillingen en fouttolerantie. Waymo zegt dat zijn computerplatform vloeistofkoeling gebruikt en uit twee onafhankelijke rekenengines bestaat. Als één engine uitvalt, kan de andere het werk overnemen. 1

Waarom meer dan 1.000 TOPS niet het hele verhaal vertelt

Meer dan 1.000 TOPS is het opvallendste getal, maar TOPS alleen zegt weinig over hoe effectief een computer voor autonoom rijden is. Belangrijke vragen zijn onder meer welke bewerkingen precies worden gemeten, hoe efficiënt de modellen draaien, hoeveel data moet worden verplaatst en hoe snel ruwe sensordata worden omgezet in een bruikbare representatie.

Waymo positioneert de eigen ASIC als een voorversterker die is geoptimaliseerd voor zijn sensoren en modellen. Door data dicht bij het punt van binnenkomst in de auto te verwerken, hoeft niet elke ruwe datastroom rechtstreeks naar een algemene centrale processor. Dat kan de benodigde bandbreedte en de vertraging verkleinen. 172

De beschikbare berichtgeving maakt bovendien niet duidelijk of de claim van meer dan 1.000 TOPS betrekking heeft op één engine of op een redundant paar. Het cijfer kan daarom niet zonder verdere toelichting worden gelezen als een eenvoudige maatstaf voor de bruikbare systeemprestaties. 14

De bredere boodschap: meerdere sensoren en gezamenlijk ontwerp

Daniel Rosenband omschreef Waymo’s doel als een ‘bovenmenselijke bestuurder met veel minder ongevallen dan mensen’, niet als een systeem dat alleen menselijke waarneming probeert te evenaren. Die uitspraak ging samen met een verdediging van camera’s in combinatie met lidar en radar, in plaats van een aanpak die uitsluitend op camera’s vertrouwt. 6

De hardwarestrategie volgt dezelfde gedachte. Waymo ontwikkelt sensoren, algoritmen en chips samen rond de eisen van autonoom rijden. De zesde generatie van de Waymo Driver gebruikt een multimodale sensorsuite waarin camera’s met hoge resolutie, beeldvormende radar en lidar samenwerken. 22

Rosenband sprak ook over ambities voor de langere termijn: voertuigen zouden uiteindelijk veel grotere AI-modellen moeten kunnen draaien, waaronder een model met mogelijk een biljoen parameters. Tegelijk wil Waymo de boordcomputer verkleinen van het formaat van een ‘pizzadoos’ richting laptopformaat. Dat zijn toekomstige doelen, geen aangekondigde mogelijkheden van de huidige processor. 6

Wat Waymo nu daadwerkelijk heeft onthuld

De kern van de onthulling is niet dat Waymo één chip heeft gebouwd die zelfstandig een robotaxi bestuurt. Het bedrijf bouwt eerder een gespecialiseerde verwerkingsketen rond een van de lastigste vroege stappen: veel datastromen met hoge bandbreedte omzetten in betrouwbare representaties met lage vertraging voor het centrale autonome systeem.

De best onderbouwde onderdelen van de aankondiging zijn een eigen 5nm-ASIC voor sensorverwerking, meer dan 1.000 TOPS aan ML-prestaties, realtime fusie van camera-, lidar- en radardata, een heterogeen computerplatform, redundante rekenengines en een brede groep hardwarepartners. 171

De gedetailleerdere Hot Chips-specificaties — een package van 45 × 45 mm, een die van 208 mm², 273 GB/s LPDDR5X-bandbreedte en een vermogen van minder dan 75 watt — maken het ontwerp concreter, maar blijven voornamelijk gerapporteerde details. 1511 Samen laten de onthullingen zien dat Waymo autonoom rijden benadert als een probleem van edge computing en systeemengineering. Niet alleen ruwe AI-rekenkracht telt, maar ook latentie, betrouwbaarheid, verschillende sensoren en efficiënt energiegebruik.