輝達這次發布 Nemotron 3.5,重點在於讓 AI 代理能依照任務和硬體條件,部署在大型伺服器或更靠近使用者的本機裝置上。三款模型中,Super VL 和 Bolt 74B-A9B 已於 2026 年 10 月 15 日推出;體積更小的 Bolt E4B 則預計 10 月 23 日推出。
10
三款模型,兩種部署方向
| 模型 |
主要用途 |
規模或記憶體需求 |
發布時程 |
| Nemotron 3.5 Super VL |
專用、持續運作的 AI 代理 |
1,200 億參數 |
10 月 15 日推出 |
| Nemotron 3.5 Bolt 74B-A9B |
本機 AI 代理工作 |
共 740 億參數,每個 token 啟用 90 億;設計為可在 24GB 記憶體中運行 |
10 月 15 日推出 |
| Nemotron 3.5 Bolt E4B |
在本機或邊緣裝置上運作的快速對話代理 |
4GB 記憶體占用 |
預計 10 月 23 日推出 |
輝達將 Super VL 定位為適合專用、持續運作代理的開放模型;Bolt 74B-A9B 則針對本機代理工作設計,Bolt E4B 的方向是以較小的記憶體需求支援快速對話。
10
Bolt 74B-A9B 總計有 740 億個參數,每個 token 啟用其中 90 億個。輝達表示,透過 2 位元量化,模型可縮減至 24GB 記憶體規模,並以在 NVIDIA RTX 與 DGX Spark 系統上執行本機代理任務為目標。
6 三款中最小的 Bolt E4B 採 4GB 記憶體規模,並非 10 月 15 日同步推出,而是預計稍後上市。
10
輝達公布的客製化與效能數據
輝達表示,Scale AI、Ramp 與 AI21 等組織已針對特定工作流程對 Super VL 進行後訓練。輝達開發者資料列出的改善包括推論成本降低 40 倍、延遲降低 10 倍,以及準確率提高 40%。這些是針對特定後訓練工作流程公布的公司數據;資料並未證明每家組織都達到所有指標,也不能據此推定其他部署會有相同成效。
17
輝達也將 Super VL 描述為適合代理任務的高速模型。ZDNET 報導,輝達稱其吞吐量是同級次佳模型的 5 倍。這是輝達提出的比較,並非適用於所有硬體、工作負載或評測方式的獨立保證。
9
這次發布代表什麼?
這次發布把 Nemotron 開放模型家族延伸至伺服器級與本機部署:Super VL 面向專用代理工作,Bolt 74B-A9B 和 Bolt E4B 則鎖定記憶體資源較受限的本機與邊緣系統。
3
10
對開發者而言,同一個模型家族提供了不同的部署選項。不過,這項發布本身並不能證明本機 AI 將增加或減少對輝達晶片的需求;目前能確認的是輝達擴大了模型預定涵蓋的部署範圍,商業影響仍待觀察。
6
10