Waymos 5-nanometersbrikke er robotaksens sansefront – ikke en komplett selvkjøringshjerne

Waymos egenutviklede Sensor Fusion Processor bør først og fremst forstås som datalaget som står nærmest sensorene i Waymo Driver. Brikken omtales internt som «carTPU» og er bygget på en 5 nm ASIC-prosess. Den tar imot datastrømmer med høy båndbredde, trekker ut relevante kjennetegn og lager sammensatte maskinlæringsrepresentasjoner for hovedsystemet som styrer kjøringen. Den er altså en spesialisert frontprosessor – ikke en selvstendig erstatning for hele selvkjøringsplattformen. 171

En spesialbrikke før «hjernen»

Waymo beskriver brikken som en spesialutviklet 5 nm ASIC som skal behandle rå sensordata, slå sammen informasjon fra flere sensorer og kjøre nevrale nettverk i sanntid. Målet er å redusere tiden fra det første pikselet kommer inn fra en sensor, til resten av systemet får en brukbar representasjon for videre kjørebeslutninger. 1719

Denne arbeidsdelingen er viktig. ASIC-en håndterer en krevende, tidlig del av persepsjonen, mens den øvrige dataplattformen fortsatt er heterogen. Det betyr at den kombinerer spesialtilpasset maskinlæringsteknologi med CPU-er, GPU-er og andre akseleratorer for blant annet koordinering, dataflytting og logging. 1

Det er derfor misvisende å si at «Waymo har erstattet Nvidia med én brikke». Waymo oppgir både Nvidia og AMD som maskinvarepartnere, sammen med Micron, Samsung, SanDisk, Socionext og TSMC. 173

Dette skal prosessoren slå sammen i sanntid

Waymos offentlige beskrivelse nevner tre sensorkategorier:

• Lidar, som gir tredimensjonal informasjon om omgivelsene
• Radar, som bidrar med utfyllende deteksjon og avstandsmåling
• Kameraer, inkludert systemets høyoppløselige videostrømmer

Prosessoren utfører behandling i sanntid, trekker ut kjennetegn og kjører nevral sensorfusjon på tvers av datastrømmene. Waymo beskriver også tidsbasert støyreduksjon for persepsjon under dårlige lysforhold. 1

Referater fra Waymos Hot Chips-presentasjon oppgir at systemet kan behandle 13 høyoppløselige kamerafeeder samtidig, og at representasjoner fra kamera, lidar og radar sendes inn i en sensorfusjonskoder. 158 Det tilgjengelige primærkildematerialet bekrefter imidlertid ikke uavhengig at mikrofondata inngår i denne brikken. Waymos sjettegenerasjonssensorsystem har riktignok eksterne lydmottakere, men det beviser ikke at mikrofonene fusjoneres av den omtalte ASIC-en. 23

Rapporterte spesifikasjoner fra Hot Chips

De mest detaljerte tallene kommer fra omtale av Hot Chips og presentasjonsmateriale, ikke fra Waymos offentlige kunngjøring alene. Rapportene beskriver følgende konfigurasjon: 1516

Spesifikasjon	Rapportert detalj
Prosessteknologi	TSMC 5 nm, N5 for bilindustrien
Pakke	45 × 45 mm FCBGA
Brikkeareal	208 mm²
Minne	LPDDR5X i samme pakke
Minnebåndbredde	273 GB/s
Strømforbruk	Under 75 watt
Maskinlæringsytelse	Mer enn 1 000 TOPS
Tilkobling til vertssystem	PCIe Gen5 x8 og 25 Gb Ethernet

Pakkeformatet, brikkearealet, minnet og strømforbruket bør leses som rapporterte spesifikasjoner – ikke som detaljer Waymo selv har bekreftet i den offentlige kunngjøringen. Waymos offisielle innlegg bekrefter brikkens formål, 5 nm-produksjon, den heterogene arkitekturen, ytelsen på over 1 000 TOPS og partnerøkosystemet. Mye av detaljene på komponentnivå kommer derimot fra sekundærdekning. 1715

En heterogen arkitektur bygget for lav forsinkelse

Den rapporterte arkitekturen kombinerer Waymo-utviklede blokker for bildebehandling, videokodeker, MIPI-inntak av sensordata og hurtigminne med GPU-funksjonalitet fra tredjeparter, PCIe Gen5, 25 Gb Ethernet og teknologi for sikker oppstart. Omtalen oppgir også 2 MB banket SRAM per prosesseringselement. 1516

Det sentrale poenget er ikke bare et høyt ytelsestall. Waymos løsning legger vekt på forutsigbar og svært lav forsinkelse, samt tett samutvikling av maskinvare og programvare. Presentasjonen skal ha beskrevet en «compiler-first»-tilnærming der store «mega-kernels» kjøres på en måte som lar programvarestakken og silisiumet finjusteres sammen – fra sensordataene kommer inn, til de er omgjort til representasjoner som kan brukes av resten av systemet. 15

Dette er en direkte følge av begrensningene i datamaskiner om bord i kjøretøy. Systemet må håndtere enorme datamengder i sanntid, samtidig som det må tåle begrensninger knyttet til strøm, varme, plass, vibrasjoner og feiltoleranse. Waymo oppgir at dataplattformen bruker væskekjøling og to uavhengige beregningsmotorer. Dersom den ene feiler, skal den andre kunne ta over. 1

Hvorfor 1 000 TOPS ikke forteller hele historien

Mer enn 1 000 TOPS er overskriften, men TOPS alene sier lite om hvor effektiv en datamaskin for autonom kjøring faktisk er. Det avgjørende er blant annet hvilke operasjoner tallet måler, hvor effektivt modellene kjører, hvor mye data som må flyttes, og hvor raskt systemet kan gå fra rå sensordata til en nyttig representasjon.

Waymos beskrivelse plasserer ASIC-en som en frontakselerator optimalisert for selskapets egne sensorer og modeller. Ved å behandle data nær inngangen til kjøretøyet kan den redusere behovet for å sende alle rå datastrømmer direkte til en mer generell sentralprosessor. Det kan gi bedre utnyttelse av båndbredden og lavere forsinkelse. 172

Den tilgjengelige rapporteringen fastslår heller ikke om tallet på over 1 000 TOPS gjelder én beregningsmotor eller et redundant par. Derfor bør tallet ikke tolkes som et enkelt mål på den samlede, praktisk tilgjengelige systemytelsen uten ytterligere avklaringer. 14

Strategien: flere sensorer og samutvikling

Daniel Rosenband har formulert målet som å skape en «overmenneskelig fører med langt færre ulykker enn mennesker», ikke bare et system som etterligner menneskelig persepsjon. I samme sammenheng forsvarte han bruken av kameraer sammen med lidar og radar, fremfor en løsning som utelukkende baserer seg på kameraer. 6

Maskinvarestrategien følger den samme logikken: Waymo utvikler sensorer, algoritmer og silisium i sammenheng med kravene til autonom kjøring. Sjettegenerasjonssystemet bruker et multimodalt sensorsett der høyoppløselige kameraer, bildedannende radarer og lidar arbeider sammen. 22

Rosenband har også snakket om langsiktige mål om å kjøre langt større KI-modeller i et kjøretøy – på sikt en modell med én billion parametere – og om å redusere datamaskinen om bord fra størrelsen til en «pizzaeske» mot størrelsen på en bærbar PC. Dette er fremtidige ambisjoner, ikke egenskaper Waymo har kunngjort som del av den nåværende prosessoren. 6

Det Waymo faktisk har avslørt

Den tydeligste konklusjonen er ikke at Waymo har laget én brikke som kan kjøre en robotaxi alene. Selskapet bygger i stedet en spesialisert datakjede rundt en av de vanskeligste tidlige oppgavene: å gjøre mange datastrømmer med høy båndbredde om til pålitelige representasjoner med lav forsinkelse for hovedsystemet.

Den bekreftede kjernen i kunngjøringen er en egenutviklet 5 nm sensorprosessor med mer enn 1 000 TOPS maskinlæringsytelse, sanntidsfusjon av kamera-, lidar- og radardata, en heterogen dataplattform, redundante beregningsmotorer og et bredt nettverk av maskinvarepartnere. 171

De mer detaljerte Hot Chips-spesifikasjonene – 45 × 45 mm pakke, 208 mm² brikke, 273 GB/s LPDDR5X-båndbredde og effekt under 75 watt – gjør designet lettere å se for seg, men er først og fremst rapporterte opplysninger. 1511 Til sammen viser avsløringene at Waymo behandler autonom kjøring som et problem innen kantdatabehandling og systemutvikling, der forsinkelse, driftssikkerhet, flere sensortyper og energieffektivitet er minst like viktige som rå KI-ytelse.