NVIDIA 9 月 4 日發布的開發者指南，重點唔係話所有最前沿模型都可以輕鬆塞入嵌入式裝置；而係指出，配合較精簡的開放模型、低精度推理同更有效率的輸出生成技術，多步推理及代理式 AI 已經可以直接喺 Jetson AGX Orin 同 Jetson AGX Thor 本地運行。1

對要落地做機械人、車載系統或工業設備嘅團隊，分別相當實際：AI 每次要理解現場狀況、使用已批准工具、再決定下一步時，未必需要先將資料傳去遙距數據中心再等結果。

NVIDIA 報告中最吸睛的數字係：Jetson AGX Thor 將 NVFP4 量化 同 推測式解碼 一齊使用時，解碼吞吐量最高可較 BF16 提升 6.28 倍。1 呢個係特定模型及工作負載下嘅基準結果，唔應當理解成任何模型、任何提示詞都必然快 6.28 倍；但它反映本地 AI 代理的即時回應能力正變得更可行。

本地部署組合：vLLM、NVFP4、推測式解碼

指南將 Nemotron 3.5 Lightning 同 Qwen3.8-27B 列為 Jetson AGX Orin 及 AGX Thor 的可選模型，開發者可透過 vLLM 喺 Jetson 上提供模型服務。1

提速主要靠兩種互補技術：

NVFP4：減少運算與記憶體搬運

NVFP4 採用 4-bit 浮點表示法，降低模型運算與所需記憶體資源。對嵌入式推理而言，樽頸好多時唔只係算力，仲包括生成內容時，要幾快將模型權重及中間資料喺記憶體之間搬動。1

AGX Thor 特別適合呢種做法。NVIDIA 指出，其 Blackwell GPU 的 Transformer Engine 原生支援 FP4。3

推測式解碼：先提議，再由主模型核實

推測式解碼（speculative decoding）係由一個較細嘅草稿模型先預測幾個下一個 token；主模型再一次過核實。最終決定權仍然喺主模型手上，但如果多個草稿 token 獲接納，輸出就可以一次推進多步，唔使逐個 token 生成。1

成效取決於草稿 token 的接納率，因此會隨模型、提示詞及解碼設定改變。換句話講，佢係一項針對工作負載嘅優化，而唔係固定不變嘅加速倍數。

Nemotron 定 Qwen：唔好只睇總參數

兩款模型對應兩種邊緣部署取向。

Nemotron 3.5 Lightning：總容量大，但每次只用部分專家

Nemotron 3.5 Lightning 係一個 300 億參數嘅混合專家（MoE）模型，但每次生成一個 token 時只會啟用 30 億參數。NVIDIA 將它定位為長時間、持續運作代理的執行層模型。2

呢個架構較適合需要頻繁產出回應嘅流程，例如系統持續解讀事件、調用獲授權工具、檢查結果，然後決定繼續處理定升級交畀人員。真正要睇嘅唔止總參數，仲有每 token 實際啟用嘅參數量，以及能否維持穩定的輸出速度。

Qwen3.8-27B：每個 token 都跑完整個網絡

Qwen3.8-27B 係稠密模型，即每次生成 token 都會啟用全部 270 億參數。NVIDIA 同樣將它列作 Jetson 上的有力選項。1

如果系統唔係不停作出回應，而係每次判斷都更複雜、更重質素，稠密模型可能更合適；取捨係每個 token 都要啟用整個網絡，計算需求通常會高過稀疏 MoE 模型。

應按實際流程揀，唔係跟參數數字揀

NVIDIA 的建議歸根究底係：用真實應用情境測試，包括提示詞及回覆長度、要使用嘅工具、延遲目標、記憶體上限，以及決策頻率。1

高頻回應嘅代理，可能會偏向輸出較快嘅稀疏模型；決策較少但每次難度較高嘅系統，則可能接受較慢生成速度，換取所需表現。兩種架構冇一種係所有邊緣場景的必勝選擇。

6.28 倍結果實際代表咩？

NVIDIA 指出，在 AGX Thor 上合併 NVFP4 與推測式解碼後，解碼吞吐量相對 BF16 最高提升 6.28 倍。兩個模型的最佳推測式解碼設定亦不同：Nemotron 3.5 Lightning 以 DSpark 表現最佳，而 Qwen3.8-27B 則以 DFlash2 最佳。1

對互動式 AI 代理而言，解碼即係逐步生成輸出內容的過程，往往直接決定用家覺得系統「反應快唔快」。不過，實際吞吐量仍會受草稿模型質素、token 接納率、批次大小、上下文長度及執行環境設定影響。1

所以，6.28 倍應視為優化潛力的展示，而唔係通用的每秒 token 數承諾。

點解本地推理可減少對數據中心依賴？

模型直接喺裝置上運行，就唔使令每一次推理請求都依賴來回數據中心。對實體系統而言，呢個可帶來較少網絡造成的延遲、斷斷續續連線下仍可繼續運作，以及讓感測器資料與操作日誌留喺裝置本地。NVIDIA 特別將邊緣推理及代理式 AI，定位為重視資料本地性與即時反應場景的技術。1

呢個唔代表雲端會被取代。機構仍可用中央系統做模型訓練、車隊或設備管理、大規模分析，或者處理超出裝置記憶體與算力的任務。轉變在於：唔係每一個即時決策，都必須將數據中心放喺關鍵路徑上。

邊類應用最受惠？

NVIDIA 點名的用途包括 車廂內助理、即時異常偵測，以及喺嚴苛或偏遠環境運作的機械人。1

共通點係系統必須理解當地情境，並且夠快作出有用反應，例如：

• 要根據觀察結果及任務狀態作決策的機械人；
• 解讀設備事件或操作日誌的工業系統；
• 要在車廂互動中快速回應的車載助理；
• 未能假設網絡時刻可靠的遙距巡檢及監測設備。

最適合的，唔單止係「跑到 LLM」的裝置，而係回應時間、資料本地性或私隱要求，以及離線韌性都會直接影響運作價值的系統。

AGX Thor 喺 Jetson 產品線的位置

Jetson AGX Thor 係 NVIDIA 面向高要求實體 AI 工作負載的高階平台。NVIDIA 表示，它結合 Blackwell GPU、128 GB 記憶體，可在 130 W 功耗範圍內提供最高 2,070 FP4 TFLOPS。3

呢個硬件定位正好配合指南所談的 NVFP4、高吞吐解碼及較大型本地推理模型。AGX Orin 對既有嵌入式部署仍然重要；Thor 則瞄準要求更高的生成式及多模態工作負載。

入門級方面，NVIDIA 已公布 Jetson Orin Nano 2，目標用途包括機械人、送貨及巡檢無人機，以及視覺 AI 系統；模組與開發套件預計於 2027 年上半年推出。1

整體來看，NVIDIA 正建立分層產品線：較小型系統服務入門邊緣 AI、AGX Orin 支援成熟嵌入式部署，而 AGX Thor 則處理更需要記憶體與算力的本地生成式推理。

總結

呢份指南最有用的訊息係：透過較精簡的推理模型、vLLM、本地 NVFP4 量化同推測式解碼，Jetson 級硬件已可承擔有能力的本地 AI 代理。1

但最後仍然要靠實測。開發者應以產品實際會用到的提示詞、工具、上下文視窗、記憶體限制及回應時間目標，在目標 Jetson 裝置上做基準測試。6.28 倍結果展示優化上限；能否變成真正可用的邊緣 AI 系統，就要由個別應用的測試決定。1

NVIDIA 9 月 4 日發布的開發者指南，重點唔係話所有最前沿模型都可以輕鬆塞入嵌入式裝置；而係指出，配合較精簡的開放模型、低精度推理同更有效率的輸出生成技術，多步推理及代理式 AI 已經可以直接喺 Jetson AGX Orin 同 Jetson AGX Thor 本地運行。1

對要落地做機械人、車載系統或工業設備嘅團隊，分別相當實際：AI 每次要理解現場狀況、使用已批准工具、再決定下一步時，未必需要先將資料傳去遙距數據中心再等結果。

NVIDIA 報告中最吸睛的數字係：Jetson AGX Thor 將 NVFP4 量化 同 推測式解碼 一齊使用時，解碼吞吐量最高可較 BF16 提升 6.28 倍。1 呢個係特定模型及工作負載下嘅基準結果，唔應當理解成任何模型、任何提示詞都必然快 6.28 倍；但它反映本地 AI 代理的即時回應能力正變得更可行。

本地部署組合：vLLM、NVFP4、推測式解碼

指南將 Nemotron 3.5 Lightning 同 Qwen3.8-27B 列為 Jetson AGX Orin 及 AGX Thor 的可選模型，開發者可透過 vLLM 喺 Jetson 上提供模型服務。1

提速主要靠兩種互補技術：

NVFP4：減少運算與記憶體搬運

NVFP4 採用 4-bit 浮點表示法，降低模型運算與所需記憶體資源。對嵌入式推理而言，樽頸好多時唔只係算力，仲包括生成內容時，要幾快將模型權重及中間資料喺記憶體之間搬動。1

AGX Thor 特別適合呢種做法。NVIDIA 指出，其 Blackwell GPU 的 Transformer Engine 原生支援 FP4。3

推測式解碼：先提議，再由主模型核實

推測式解碼（speculative decoding）係由一個較細嘅草稿模型先預測幾個下一個 token；主模型再一次過核實。最終決定權仍然喺主模型手上，但如果多個草稿 token 獲接納，輸出就可以一次推進多步，唔使逐個 token 生成。1

成效取決於草稿 token 的接納率，因此會隨模型、提示詞及解碼設定改變。換句話講，佢係一項針對工作負載嘅優化，而唔係固定不變嘅加速倍數。

Nemotron 定 Qwen：唔好只睇總參數

兩款模型對應兩種邊緣部署取向。

Nemotron 3.5 Lightning：總容量大，但每次只用部分專家

Nemotron 3.5 Lightning 係一個 300 億參數嘅混合專家（MoE）模型，但每次生成一個 token 時只會啟用 30 億參數。NVIDIA 將它定位為長時間、持續運作代理的執行層模型。2

呢個架構較適合需要頻繁產出回應嘅流程，例如系統持續解讀事件、調用獲授權工具、檢查結果，然後決定繼續處理定升級交畀人員。真正要睇嘅唔止總參數，仲有每 token 實際啟用嘅參數量，以及能否維持穩定的輸出速度。

Qwen3.8-27B：每個 token 都跑完整個網絡

Qwen3.8-27B 係稠密模型，即每次生成 token 都會啟用全部 270 億參數。NVIDIA 同樣將它列作 Jetson 上的有力選項。1

如果系統唔係不停作出回應，而係每次判斷都更複雜、更重質素，稠密模型可能更合適；取捨係每個 token 都要啟用整個網絡，計算需求通常會高過稀疏 MoE 模型。

應按實際流程揀，唔係跟參數數字揀

NVIDIA 的建議歸根究底係：用真實應用情境測試，包括提示詞及回覆長度、要使用嘅工具、延遲目標、記憶體上限，以及決策頻率。1

高頻回應嘅代理，可能會偏向輸出較快嘅稀疏模型；決策較少但每次難度較高嘅系統，則可能接受較慢生成速度，換取所需表現。兩種架構冇一種係所有邊緣場景的必勝選擇。

6.28 倍結果實際代表咩？

NVIDIA 指出，在 AGX Thor 上合併 NVFP4 與推測式解碼後，解碼吞吐量相對 BF16 最高提升 6.28 倍。兩個模型的最佳推測式解碼設定亦不同：Nemotron 3.5 Lightning 以 DSpark 表現最佳，而 Qwen3.8-27B 則以 DFlash2 最佳。1

對互動式 AI 代理而言，解碼即係逐步生成輸出內容的過程，往往直接決定用家覺得系統「反應快唔快」。不過，實際吞吐量仍會受草稿模型質素、token 接納率、批次大小、上下文長度及執行環境設定影響。1

所以，6.28 倍應視為優化潛力的展示，而唔係通用的每秒 token 數承諾。

點解本地推理可減少對數據中心依賴？

模型直接喺裝置上運行，就唔使令每一次推理請求都依賴來回數據中心。對實體系統而言，呢個可帶來較少網絡造成的延遲、斷斷續續連線下仍可繼續運作，以及讓感測器資料與操作日誌留喺裝置本地。NVIDIA 特別將邊緣推理及代理式 AI，定位為重視資料本地性與即時反應場景的技術。1

呢個唔代表雲端會被取代。機構仍可用中央系統做模型訓練、車隊或設備管理、大規模分析，或者處理超出裝置記憶體與算力的任務。轉變在於：唔係每一個即時決策，都必須將數據中心放喺關鍵路徑上。

邊類應用最受惠？

NVIDIA 點名的用途包括 車廂內助理、即時異常偵測，以及喺嚴苛或偏遠環境運作的機械人。1

共通點係系統必須理解當地情境，並且夠快作出有用反應，例如：

• 要根據觀察結果及任務狀態作決策的機械人；
• 解讀設備事件或操作日誌的工業系統；
• 要在車廂互動中快速回應的車載助理；
• 未能假設網絡時刻可靠的遙距巡檢及監測設備。

最適合的，唔單止係「跑到 LLM」的裝置，而係回應時間、資料本地性或私隱要求，以及離線韌性都會直接影響運作價值的系統。

AGX Thor 喺 Jetson 產品線的位置

Jetson AGX Thor 係 NVIDIA 面向高要求實體 AI 工作負載的高階平台。NVIDIA 表示，它結合 Blackwell GPU、128 GB 記憶體，可在 130 W 功耗範圍內提供最高 2,070 FP4 TFLOPS。3

呢個硬件定位正好配合指南所談的 NVFP4、高吞吐解碼及較大型本地推理模型。AGX Orin 對既有嵌入式部署仍然重要；Thor 則瞄準要求更高的生成式及多模態工作負載。

入門級方面，NVIDIA 已公布 Jetson Orin Nano 2，目標用途包括機械人、送貨及巡檢無人機，以及視覺 AI 系統；模組與開發套件預計於 2027 年上半年推出。1

整體來看，NVIDIA 正建立分層產品線：較小型系統服務入門邊緣 AI、AGX Orin 支援成熟嵌入式部署，而 AGX Thor 則處理更需要記憶體與算力的本地生成式推理。

總結

呢份指南最有用的訊息係：透過較精簡的推理模型、vLLM、本地 NVFP4 量化同推測式解碼，Jetson 級硬件已可承擔有能力的本地 AI 代理。1

但最後仍然要靠實測。開發者應以產品實際會用到的提示詞、工具、上下文視窗、記憶體限制及回應時間目標，在目標 Jetson 裝置上做基準測試。6.28 倍結果展示優化上限；能否變成真正可用的邊緣 AI 系統，就要由個別應用的測試決定。1