Waymo 最近公開嘅自家 Sensor Fusion Processor,據報內部叫做「carTPU」,最準確嘅理解係:佢係 Waymo Driver 面向感測器嘅運算前端。呢枚以 5nm 製程打造嘅 ASIC,負責接收高頻寬感測器串流、抽取特徵,再產生融合後嘅機器學習表示,交畀系統入面負責完整駕駛任務嘅主要運算平台。換句話講,佢係專用前端矽晶片,唔係一枚可以獨力取代整套自駕系統嘅「新大腦」。
17
1
先搞清楚:係感測前門,唔係駕駛主腦
Waymo 形容呢枚晶片係專門設計嘅 5nm ASIC,用嚟即時處理、融合感測器原始數據,並喺數據送到核心機器學習系統之前執行神經網絡。公司嘅目標係縮短由感測器收到第一個像素,到下游模型取得可用表示之間嘅時間。
17
19
呢種分工相當關鍵。ASIC 處理感知流程最前段、亦係數據量最大嘅一部分;車上更完整嘅運算平台仍然係異構架構,將 Waymo 自家機器學習技術同 CPU、GPU 及其他加速器配合使用,處理工作調度、數據搬運、記錄等任務。
1
所以,呢次公開唔應該簡化成「Waymo 用一枚晶片取代 Nvidia」。Waymo 列出嘅硬件合作夥伴包括 Nvidia 同 AMD,亦有 Micron、Samsung、SanDisk、Socionext 同 TSMC。
17
3
實時融合咩數據?
Waymo 公開資料明確提到三類感測器:
- 光達(lidar):提供三維環境資訊
- 雷達(radar):提供互補嘅探測及測距資料
- 鏡頭:包括系統嘅高解像度影像串流
處理器會對呢幾類數據進行實時處理、特徵抽取同神經網絡感測器融合;Waymo 亦提到用時間維度去除噪聲,改善低光環境下嘅感知表現。
1
Hot Chips 相關報道就指,系統可以同時處理 13 路高解像度鏡頭影像,而鏡頭、光達同雷達產生嘅 embedding,會一齊送入感測融合 encoder。
15
8
至於咪高峰,現有主要來源未能獨立證實佢係呢枚 ASIC 嘅融合輸入,因此唔應該當成已確認功能。Waymo 第六代感測器套件的確包括車外音訊接收器,但有音訊硬件,唔等於已證明咪高峰數據會由呢枚晶片負責融合。
23
Hot Chips 報道所披露嘅規格
較完整嘅數字主要來自 Hot Chips 報道及簡報材料,而唔係 Waymo 8 月 20 日發表嘅官方文章。相關報道列出以下配置:
15
16
| 規格 |
報道內容 |
| 製程 |
TSMC 5nm N5 汽車應用版本 |
| 封裝 |
45 × 45 mm FCBGA |
| 晶粒面積 |
208 mm² |
| 記憶體 |
封裝內 LPDDR5X |
| 記憶體頻寬 |
273 GB/s |
| 功耗 |
低於 75 W |
| 機器學習效能 |
超過 1,000 TOPS |
| 主機連接 |
PCIe Gen5 x8 及 25Gb Ethernet |
封裝、晶粒面積、記憶體同功耗等數字,應該視為「報道規格」,而唔係 Waymo 官方公告逐項獨立確認嘅資料。官方文章確認咗晶片用途、5nm 製程、異構架構、超過 1,000 TOPS 嘅說法,以及合作夥伴生態;至於較底層嘅實作細節,主要由二手 Hot Chips 報道補充。
17
15
異構架構嘅重點:爭取低延遲,而唔係淨係鬥 TOPS
據報,呢套設計將 Waymo 自家開發嘅影像處理、影片編解碼、MIPI 感測器輸入同 scratchpad 記憶體區塊,連同第三方 GPU 能力、PCIe Gen5、25Gb Ethernet 及 secure-boot IP 整合埋一齊。報道亦提到,每個處理單元配備 2 MB banked SRAM。
15
16
Waymo 嘅架構優先考慮唔單止係峰值吞吐量,而係可預測、低延遲嘅執行。Hot Chips 簡報相關報道形容,軟件層採用 compiler-first 方法執行大型「mega-kernel」,令編譯器、模型同晶片可以一齊調校,縮短由感測器輸入到 embedding 產生嘅路徑。
15
對車載運算嚟講,呢種取向有實際原因。車輛要喺有限嘅電力、散熱、體積同故障容忍條件下,持續處理大量數據,仲要面對震動、衝擊同溫度變化。Waymo 表示,旗下運算平台採用液冷,並設有兩套獨立運算引擎;其中一套出現故障時,另一套可以接手。
1
「1,000 TOPS」唔可以單獨解讀
超過 1,000 TOPS 當然係最搶眼嘅數字,但 TOPS 本身唔足以代表一部自駕運算系統有幾有效。真正重要嘅問題包括:呢個數字針對邊類運算、模型執行效率有幾高、數據搬運要付出幾多成本,以及由原始感測器輸入到產生有用表示究竟要幾耐。
Waymo 將自家 ASIC 定位成配合公司感測器套件同模型而最佳化嘅前端加速器。佢將數據喺入車位置附近先行處理,避免所有原始串流都直接送去中央通用處理器,從而改善頻寬使用效率同延遲。
17
2
另外,現有報道未能確定超過 1,000 TOPS 係指單一運算引擎,定係兩套具備冗餘功能嘅引擎合計。因此,未有進一步澄清之前,唔應該將呢個數字直接當成系統可用吞吐量。
14
Waymo 想傳遞嘅戰略訊息
Waymo 研究員 Daniel Rosenband 將目標形容為「一位超越人類、而且事故遠少於人類嘅司機」,而唔係只求做到同人類一樣嘅感知能力。佢亦喺同一脈絡下,為鏡頭配合光達及雷達嘅多感測器方案辯護,而唔係採用純鏡頭路線。
6
硬件策略同樣圍繞呢個方向:Waymo 正將感測器、演算法同晶片按自動駕駛嘅實際需求一齊設計。第六代 Waymo Driver 採用多模態感測系統,由高解像度鏡頭、成像雷達同光達共同運作。
22
Rosenband 亦談到更長遠嘅目標,包括將來喺車內運行大得多嘅 AI 模型,甚至係一個擁有一萬億參數嘅模型,以及將車載運算硬件由「pizza box」縮細到接近手提電腦大小。不過,呢啲都係未來方向,唔係今次已公布嘅處理器能力。
6
最值得記住嘅結論
Waymo 今次公開嘅重點,唔係話佢造咗一枚可以單獨駕駛 robotaxi 嘅神奇晶片;而係公司正圍繞一個最難處理嘅早期問題,打造專用運算流水線:將大量高頻寬感測器串流,轉化成可靠、低延遲、畀主自駕系統使用嘅融合表示。
官方已確認嘅核心包括:自家 5nm 感測器處理 ASIC、超過 1,000 TOPS 嘅機器學習效能、鏡頭/光達/雷達實時融合、異構運算平台、具冗餘能力嘅處理引擎,以及多個硬件合作夥伴。
17
1
至於 45 × 45 mm 封裝、208 mm² 晶粒、273 GB/s LPDDR5X 頻寬同低於 75 W 功耗,就令呢個設計更加具體,但目前主要仍然係 Hot Chips 相關報道披露嘅資料。
15
11 合埋來睇,Waymo 展示嘅唔只係一個 AI 算力數字,而係將自動駕駛當成一個邊緣運算同系統工程問題:延遲、可靠性、感測器多樣性同功耗效率,全部同峰值算力一樣重要。