Waymon carTPU: näin 5 nm:n erikoispiiri käsittelee robottitaksin sensoridataa

Waymon räätälöity Sensor Fusion Processor kannattaa nähdä Waymo Driverin sensoreita lähimpänä olevana laskentakerroksena. Piiri tunnetaan tiettävästi yhtiön sisällä nimellä ”carTPU”. Tämä 5 nm:n ASIC vastaanottaa suuren datamäärän sensorivirtoja, poimii niistä piirteitä ja muodostaa yhdistettyjä koneoppimisesityksiä auton varsinaiselle ajojärjestelmälle. Se on erikoistunut etupään prosessori, ei itsenäinen korvaaja koko autonomisen ajamisen ohjelmisto- ja laitteistopinolle. 171

Waymon tärkein paljastus: erikoispiiri ennen ajamisen pääjärjestelmää

Waymo kuvaili piiriä tarkoitukseen suunnitelluksi 5 nm:n ASICiksi, joka käsittelee sensorien raakadataa, yhdistää eri lähteitä ja ajaa neuroverkkoja reaaliajassa. Tavoitteena on lyhentää aikaa sensorin ensimmäisestä vastaanotetusta pikselistä siihen, kun ajojärjestelmä saa käyttökelpoisen esityksen ympäristöstä. 1719

Työnjako on olennainen. ASIC hoitaa vaativaa havainnoinnin alkuvaihetta, mutta auton koko laskenta-alusta on edelleen heterogeeninen: siinä yhdistyvät Waymon oma koneoppimisteknologia, suorittimet, grafiikkasuorittimet ja muut kiihdyttimet esimerkiksi ohjaukseen, tiedonsiirtoon ja lokitukseen. 1

Kyse ei siis ole siitä, että ”Waymo korvasi Nvidian yhdellä piirillä”. Waymo ilmoitti laitekumppaneikseen Nvidian ja AMD:n lisäksi Micronin, Samsungin, SanDiskin, Socionextin ja TSMC:n. 173

Mitä dataa carTPU yhdistää reaaliajassa?

Waymon julkisesti nimeämät kolme sensorityyppiä ovat:

• Lidar, joka tuottaa kolmiulotteista tietoa ympäristöstä
• Tutka, joka täydentää havaitsemista ja etäisyyksien mittaamista
• Kamerat, mukaan lukien järjestelmän korkearesoluutioiset kuvavirrat

Prosessori käsittelee näitä virtoja reaaliajassa, poimii niistä piirteitä ja yhdistää ne neuroverkkojen avulla. Waymo kertoo myös heikossa valaistuksessa käytettävästä ajallisesta kohinanpoistosta. 1

Hot Chips -esitystä käsittelevien raporttien mukaan järjestelmä pystyy käsittelemään samanaikaisesti 13 korkearesoluutioista kameravirtaa, ja kamera-, lidar- ja tutkaesitykset syötetään sensorifuusion enkooderille. 158 Saatavilla olevat ensisijaiset lähteet eivät kuitenkaan vahvista erikseen mikrofonidatan yhdistämistä. Siksi mikrofoneja ei pidä pitää tämän piirin varmennettuna ominaisuutena. Waymon kuudennen sukupolven sensorikokonaisuuteen kuuluu ulkoisia äänivastaanottimia, mutta tämä ei itsessään osoita, että ASIC yhdistäisi mikrofonidataa. 23

Hot Chips -raportoinnissa esiin nousseet tekniset tiedot

Yksityiskohtaisimmat luvut ovat peräisin Hot Chips -esitystä koskevista raporteista ja esitysmateriaalista, eivät Waymon omasta julkisesta tiedotteesta. Niissä kuvataan seuraavanlainen kokonaisuus: 1516

Ominaisuus	Raportoitu tieto
Valmistustekniikka	TSMC:n 5 nm:n N5-autosovellus
Paketti	45 × 45 mm:n FCBGA
Sirun pinta-ala	208 mm²
Muisti	Pakettiin integroitu LPDDR5X
Muistikaistanleveys	273 Gt/s
Tehonkulutus	Alle 75 W
Koneoppimissuorituskyky	Yli 1 000 TOPSia
Isäntäyhteydet	PCIe Gen5 ×8 ja 25 Gb:n Ethernet

Paketin, sirun, muistin ja tehonkulutuksen luvut on syytä tulkita raportoiduiksi teknisiksi tiedoiksi, ei Waymon omassa ilmoituksessa itsenäisesti vahvistetuiksi yksityiskohdiksi. Yhtiön virallinen julkaisu vahvistaa piirin käyttötarkoituksen, 5 nm:n valmistuksen, heterogeenisen arkkitehtuurin, yli 1 000 TOPS:n väitteen ja kumppaniverkoston, kun taas suuri osa toteutustason tiedoista tulee toissijaisista lähteistä. 1715

Heterogeeninen rakenne on suunniteltu viivettä vastaan

Raportoidussa arkkitehtuurissa Waymon omat kuvanprosessointi-, videokoodekki-, MIPI-sensoriliitäntä- ja scratchpad-muistilohkot yhdistyvät ulkopuoliseen GPU-tekniikkaan, PCIe Gen5 -liitäntään, 25 Gb:n Ethernetiin ja suojatun käynnistyksen IP-lohkoihin. Raporteissa mainitaan myös 2 Mt pankitettua SRAM-muistia kutakin prosessointielementtiä kohti. 1516

Painopiste ei ole vain mahdollisimman suurella TOPS-lukemalla. Waymon lähestymistavassa korostuvat ennustettava, pieni viive ja tiivis laitteiston ja ohjelmiston yhteissuunnittelu. Esitystä koskevien raporttien mukaan suuret ”mega-kernelit” suoritetaan compiler-first-periaatteella: ohjelmistopino ja pii voidaan virittää yhdessä sensoridatan saapumisesta aina sen muuttamiseen koneoppimisen tarvitsemiksi esityksiksi. 15

Autossa toimivalle laskennalle tämä on tärkeää. Järjestelmän on käsiteltävä valtavia datamääriä reaaliajassa, vaikka tehoon, lämpöön, fyysiseen tilaan, tärinään ja vikasietoisuuteen liittyy tiukkoja rajoituksia. Waymon mukaan sen laskenta-alusta käyttää nestejäähdytystä ja kahta toisistaan riippumatonta laskentamoottoria. Jos toinen vikaantuu, toinen voi ottaa tehtävät hoitaakseen. 1

Miksi yli 1 000 TOPSia ei kerro kaikkea?

Yli 1 000 TOPSia on näyttävä otsikkoluku, mutta TOPS yksin ei kuvaa autonomisen ajamisen tietokoneen todellista tehokkuutta. Olennaista on esimerkiksi se, millaisia laskutoimituksia luku mittaa, kuinka tehokkaasti mallit suoritetaan, kuinka paljon dataa joudutaan siirtämään ja kuinka nopeasti raakadatasta syntyy ajojärjestelmälle hyödyllinen esitys.

Waymon mukaan ASIC on etupään kiihdytin, joka on optimoitu yhtiön omille sensoreille ja malleille. Se pyrkii parantamaan kaistanleveyden hyödyntämistä ja pienentämään viivettä käsittelemällä dataa lähellä sen saapumispistettä sen sijaan, että kaikki raakavirrat lähetettäisiin suoraan yleiskäyttöiselle keskusprosessorille. 172

Saatavilla olevista raporteista ei myöskään käy ilmi, koskeeko yli 1 000 TOPS:n lukema yhtä laskentamoottoria vai kahden redundantin moottorin muodostamaa paria. Siksi sitä ei pidä tulkita suoraviivaisesti koko järjestelmän käytettävissä olevaksi laskentatehoksi ilman lisätietoja. 14

Strateginen viesti: useita sensoreita ja yhteissuunnittelua

Daniel Rosenband kuvasi Waymon tavoitteeksi ”yli-inhimillisen kuljettajan, jolla on paljon vähemmän onnettomuuksia kuin ihmisillä” – ei järjestelmää, joka vain jäljittelee ihmisen havainnointia. Samassa yhteydessä hän puolusti kameroiden, lidarin ja tutkan yhdistelmää pelkkään kamerapohjaiseen lähestymistapaan verrattuna. 6

Laitteistostrategia noudattaa samaa ajatusta. Waymo suunnittelee sensoreita, algoritmeja ja piirejä yhdessä autonomisen ajamisen vaatimusten ympärille. Yhtiön kuudennen sukupolven Driver käyttää monimuotoista sensorijärjestelmää, jossa korkearesoluutioiset kamerat, kuvantava tutka ja lidar toimivat yhdessä. 22

Rosenband puhui myös pidemmän aikavälin tavoitteista: autossa voitaisiin tulevaisuudessa ajaa huomattavasti nykyistä suurempia tekoälymalleja, jopa biljoonan parametrin mallia, ja auton laskentalaite voitaisiin kutistaa ”pizzalaatikon” koosta lähemmäs kannettavan tietokoneen kokoa. Nämä ovat tulevaisuuden tavoitteita, eivät nykyisen prosessorin yhteydessä julkistettuja ominaisuuksia. 6

Mitä Waymo oikeastaan paljasti?

Selkein johtopäätös ei ole, että Waymo olisi rakentanut yhden piirin, joka pystyisi yksin ajamaan robottitaksia. Yhtiö on sen sijaan rakentamassa erikoistunutta laskentaputkea kaikkein vaativimpaan alkuvaiheen tehtävään: useiden suurikaistaisten sensorivirtojen muuttamiseen luotettaviksi, nopeasti syntyviksi esityksiksi autonomiajärjestelmän pääosalle.

Waymon ilmoituksen varmennettu ydin on oma 5 nm:n sensorinkäsittelyyn tarkoitettu ASIC, jonka koneoppimissuorituskyky ylittää 1 000 TOPSia. Se yhdistää kameran, lidarin ja tutkan dataa reaaliajassa osana heterogeenista laskenta-alustaa, jossa on redundantit laskentamoottorit ja laaja laitekumppanien verkosto. 171

Yksityiskohtaisemmat Hot Chips -tiedot – 45 × 45 millimetrin paketti, 208 mm²:n siru, 273 Gt/s:n LPDDR5X-kaistanleveys ja alle 75 watin tehonkulutus – tekevät rakenteesta konkreettisemman, mutta ovat edelleen pääosin raportoituja tietoja. 1511 Kokonaisuus osoittaa, että Waymo käsittelee autonomista ajamista reunalaskennan ja järjestelmäsuunnittelun ongelmana, jossa viive, luotettavuus, sensorien monipuolisuus ja energiatehokkuus ovat vähintään yhtä tärkeitä kuin raaka tekoälylaskenta.