Nvidia今次公布Nemotron 3.5,重點係同一系列模型開始涵蓋唔同部署場景:由數據中心使用的專門AI代理,到記憶體較有限的本地裝置。Super VL同Bolt 74B-A9B已於2026年10月15日推出;較細的Bolt E4B則預計10月23日推出。
10
三款模型,各自瞄準不同場景
| 模型 |
主要用途 |
規模或記憶體配置 |
推出安排 |
| Nemotron 3.5 Super VL |
專門、可長時間運作的AI代理 |
1,200億參數 |
10月15日推出 |
| Nemotron 3.5 Bolt 74B-A9B |
本地AI代理工作負載 |
總計740億參數,每個token啟用90億;設計為可放入24GB記憶體 |
10月15日推出 |
| Nemotron 3.5 Bolt E4B |
本地或邊緣裝置上的快速對話代理 |
4GB容量配置 |
預計10月23日推出 |
Nvidia將Super VL定位為開放模型,供專門、長時間運作的代理使用;Bolt 74B-A9B則偏向本地代理工作,而Bolt E4B主打在較小記憶體配置下提供快速對話。
10
Bolt 74B-A9B採用二位元量化,Nvidia表示模型可因此放入24GB記憶體,並針對RTX及DGX Spark系統上的本地代理任務設計。
6 至於E4B,Nvidia公布的容量配置為4GB,推出時間比另外兩款稍後。
10
微調效能數字要點睇
Nvidia表示,Scale AI、Ramp及AI21等機構曾為特定工作流程對Super VL進行後訓練。Nvidia的開發者資料提到,相關工作流程的推論成本降低40倍、延遲降低10倍,以及準確度提高40%。不過,這些是公司公布的專門微調結果,唔代表每間機構都達到所有數字,亦未能由資料確認其他部署會有相同改善。
17
Nvidia亦形容Super VL適合高速處理代理工作。ZDNET報道,Nvidia聲稱該模型的吞吐量是同級次佳模型的五倍;這是廠方的比較說法,唔應視為在不同硬件、工作負載或評測方法下都必然成立的保證。
9
重點在部署選擇,不是商業結果
這次發布把Nemotron開放模型系列延伸至伺服器級及本地部署:Super VL面向專門代理,兩款Bolt則針對本地或邊緣裝置較受限制的記憶體條件。
3
10
對開發者來說,同一系列提供了不同部署方向;但單憑今次公布,未能判斷本地AI日後會令Nvidia晶片需求增加還是減少。現有資料支持的是模型涵蓋的部署範圍擴大,並非其最終商業影響。
6
10