推理型模型要在嵌入式裝置上完成多步推理與代理（agent）工作，過去往往得在模型能力與反應速度之間取捨。NVIDIA 於 9 月 4 日發布的開發者指南認為，這個限制正在鬆動：經過最佳化的開放模型、低精度推論與更快的解碼技術，已讓 Jetson AGX Orin 與 Jetson AGX Thor 能在本地執行具備推理與代理能力的 AI。 1

最受矚目的數字是：在 Jetson AGX Thor 上，將 NVFP4 量化與推測式解碼合併使用時，NVIDIA 測得相較 BF16 最高 6.28 倍的解碼吞吐量提升。這是特定模型與工作負載的基準測試結果，並非所有情境都能獲得相同的每秒 token 數；但它反映出，本地 AI 代理在機器人、車輛與工業設備上的可行性正在提高。 1

本地部署的三個關鍵：vLLM、低精度與更有效率的解碼

NVIDIA 將 Nemotron 3.5 Lightning 與 Qwen3.8-27B列為 Jetson AGX Orin 和 Jetson AGX Thor 的可用選項。開發者可在 Jetson 上以 vLLM 提供模型服務，再結合兩種互補技術提升推論效率。 1

NVFP4：降低記憶體搬移與運算負擔

NVFP4 使用 4 位元浮點表示法，降低模型運算所需的工作量與記憶體需求。對嵌入式推論而言，瓶頸不只在 GPU 算力，也常在於生成過程中能否快速搬移模型權重與中間資料。 1

Jetson Thor 尤其適合這項作法。NVIDIA 指出，其 Blackwell GPU 的 Transformer Engine 提供原生 FP4 支援。 3

推測式解碼：先提案、再驗證

推測式解碼把生成工作分為「提案」與「驗證」：較小的草稿模型先猜測數個下一個 token，再由主模型一次驗證；最終決定權仍在主模型。若主模型接受多個提案 token，生成就能在一次驗證中前進多步，而非逐 token 產生。 1

實際效益取決於草稿 token 的接受率，因此會隨模型、提示詞及解碼設定而變化。它應被視為針對工作負載的最佳化手段，而不是固定的加速倍率。

Nemotron 3.5 Lightning 與 Qwen3.8-27B：差別不只在參數總數

Nemotron 3.5 Lightning：大容量、較少的每 token 活躍參數

Nemotron 3.5 Lightning 是一個 300 億參數的混合專家（MoE）模型，但每產生一個 token 時僅啟用 30 億參數。NVIDIA 將其定位為支援長時間、持續運作代理之「執行層」的模型。 2

這種架構適合需要頻繁回應與反覆處理作業迴圈的情境，例如解讀事件、呼叫核准工具、檢查結果，再決定是否繼續或升級處理。此時，重點不只是總參數量，還包括每 token 的活躍參數數、持續輸出速度與資源占用。

Qwen3.8-27B：為較難、較少發生的判斷而設

Qwen3.8-27B 是稠密（dense）模型，意即每個 token 都會動用全部 270 億參數。NVIDIA 將它和 Nemotron 3.5 Lightning 一同列為 Jetson 的強力選項。 1

當應用程式的決策次數較少、但更重視單次判斷品質時，稠密模型可能合適；代價是每個 token 都啟用完整網路，通常比稀疏的 MoE 模型需要更多運算資源。

應按工作流程選模型，而非只看參數數字

NVIDIA 的核心建議是以真實應用進行基準測試：提示詞與回應長度、工具調用方式、延遲預算、記憶體限制，以及決策頻率都會影響結果。 1

高頻輸出的代理可能更適合著重生成速度的稀疏模型；需要處理較少但複雜決策的系統，則可能接受較慢生成，換取其所需的模型行為。沒有一種架構能自動勝過其他方案。

6.28 倍結果實際代表什麼？

NVIDIA 表示，Jetson AGX Thor 在結合 NVFP4 量化與推測式解碼後，解碼吞吐量相較 BF16 最高可提升 6.28 倍。不同模型的最佳推測式解碼設定也不同：Nemotron 3.5 Lightning 以 DSpark 表現最佳，Qwen3.8-27B 則以 DFlash2 最佳。 1

這個結果之所以重要，是因為解碼，也就是逐步生成輸出 token 的階段，經常決定互動式代理讓使用者感受到的反應速度。不過，它不能被解讀為每個提示詞、模型或部署條件都適用的通用速度承諾。草稿模型品質、token 接受率、批次大小、上下文長度和執行環境設定，都會影響實際吞吐量。 1

為何本地推論能改變邊緣 AI 的設計？

模型在裝置端執行後，每一次推理不必把資料送到遠端資料中心再等回應。對實體系統而言，這可能帶來較低的網路相關延遲、在連線不穩時仍可持續運作，以及將感測器資料流和營運紀錄留在裝置端的能力。NVIDIA 特別將資料在地性與即時反應需求，視為邊緣推理與代理型 AI 的價值所在。 1

這不表示雲端不再需要。模型訓練、車隊或設備管理、大規模分析，以及超出裝置記憶體與算力上限的工作，仍可交由集中式基礎設施處理。真正的改變是：資料中心不必再位於每個決策的關鍵路徑上。

哪些應用最能受益？

NVIDIA 點名的案例包括車艙內助理、即時異常偵測，以及在惡劣或偏遠環境運作的機器人。 1

這些場景的共同點，是系統必須理解現場脈絡，並在足以發揮效用的時間內做出回應，例如：

• 根據觀測結果與任務狀態推理的機器人；
• 解讀設備事件或操作紀錄的工業系統；
• 必須即時回應乘員互動的車載助理；
• 無法假設網路穩定可用的遠端巡檢或監控設備。

最適合的目標並非「只要能跑 LLM 的裝置」，而是延遲、資料在地性或離線韌性會直接影響實際作業價值的系統。

AGX Thor 在 Jetson 產品布局中的位置

Jetson AGX Thor 是 NVIDIA 面向高需求實體 AI 工作負載的高階平台。NVIDIA 表示，它結合 Blackwell GPU、128GB 記憶體，可在 130W 功耗範圍內提供最高 2,070 FP4 TFLOPS 的運算能力。 3

這樣的硬體條件正好對應本文的重點：NVFP4、高吞吐量解碼與較大型的本地推理模型。AGX Orin 對既有嵌入式部署仍具價值，而 Thor 的目標則是更吃重的生成式與多模態工作負載。

在入門級產品線，NVIDIA 已宣布 Jetson Orin Nano 2，鎖定機器人、配送與巡檢無人機，以及視覺 AI 系統；模組與開發者套件預計於 2027 年上半年推出。 1

整體來看，NVIDIA 的 Jetson 策略是分層布局：較小型系統對應入門邊緣 AI、AGX Orin 對應成熟的嵌入式部署，AGX Thor 則服務需要更多記憶體與算力來執行本地生成式推理的應用。

結論：效能數字是起點，產品測試才是答案

NVIDIA 並未宣稱每個前沿模型都能在每一款嵌入式模組上順暢運作。更精確的結論是：精簡的推理模型、vLLM 部署、NVFP4 量化與推測式解碼，能使 Jetson 級硬體執行有能力的本地 AI 代理變得更可行。 1

對開發者而言，下一步不是只看理論規格，而是用產品的真實提示詞、工具、上下文視窗與回應時間要求，在目標 Jetson 裝置上實測。6.28 倍的結果展示了最佳化的潛力；能否成為可用的邊緣 AI 系統，仍要由實際應用的基準測試決定。 1

推理型模型要在嵌入式裝置上完成多步推理與代理（agent）工作，過去往往得在模型能力與反應速度之間取捨。NVIDIA 於 9 月 4 日發布的開發者指南認為，這個限制正在鬆動：經過最佳化的開放模型、低精度推論與更快的解碼技術，已讓 Jetson AGX Orin 與 Jetson AGX Thor 能在本地執行具備推理與代理能力的 AI。 1

最受矚目的數字是：在 Jetson AGX Thor 上，將 NVFP4 量化與推測式解碼合併使用時，NVIDIA 測得相較 BF16 最高 6.28 倍的解碼吞吐量提升。這是特定模型與工作負載的基準測試結果，並非所有情境都能獲得相同的每秒 token 數；但它反映出，本地 AI 代理在機器人、車輛與工業設備上的可行性正在提高。 1

本地部署的三個關鍵：vLLM、低精度與更有效率的解碼

NVIDIA 將 Nemotron 3.5 Lightning 與 Qwen3.8-27B列為 Jetson AGX Orin 和 Jetson AGX Thor 的可用選項。開發者可在 Jetson 上以 vLLM 提供模型服務，再結合兩種互補技術提升推論效率。 1

NVFP4：降低記憶體搬移與運算負擔

NVFP4 使用 4 位元浮點表示法，降低模型運算所需的工作量與記憶體需求。對嵌入式推論而言，瓶頸不只在 GPU 算力，也常在於生成過程中能否快速搬移模型權重與中間資料。 1

Jetson Thor 尤其適合這項作法。NVIDIA 指出，其 Blackwell GPU 的 Transformer Engine 提供原生 FP4 支援。 3

推測式解碼：先提案、再驗證

推測式解碼把生成工作分為「提案」與「驗證」：較小的草稿模型先猜測數個下一個 token，再由主模型一次驗證；最終決定權仍在主模型。若主模型接受多個提案 token，生成就能在一次驗證中前進多步，而非逐 token 產生。 1

實際效益取決於草稿 token 的接受率，因此會隨模型、提示詞及解碼設定而變化。它應被視為針對工作負載的最佳化手段，而不是固定的加速倍率。

Nemotron 3.5 Lightning 與 Qwen3.8-27B：差別不只在參數總數

Nemotron 3.5 Lightning：大容量、較少的每 token 活躍參數

Nemotron 3.5 Lightning 是一個 300 億參數的混合專家（MoE）模型，但每產生一個 token 時僅啟用 30 億參數。NVIDIA 將其定位為支援長時間、持續運作代理之「執行層」的模型。 2

這種架構適合需要頻繁回應與反覆處理作業迴圈的情境，例如解讀事件、呼叫核准工具、檢查結果，再決定是否繼續或升級處理。此時，重點不只是總參數量，還包括每 token 的活躍參數數、持續輸出速度與資源占用。

Qwen3.8-27B：為較難、較少發生的判斷而設

Qwen3.8-27B 是稠密（dense）模型，意即每個 token 都會動用全部 270 億參數。NVIDIA 將它和 Nemotron 3.5 Lightning 一同列為 Jetson 的強力選項。 1

當應用程式的決策次數較少、但更重視單次判斷品質時，稠密模型可能合適；代價是每個 token 都啟用完整網路，通常比稀疏的 MoE 模型需要更多運算資源。

應按工作流程選模型，而非只看參數數字

NVIDIA 的核心建議是以真實應用進行基準測試：提示詞與回應長度、工具調用方式、延遲預算、記憶體限制，以及決策頻率都會影響結果。 1

高頻輸出的代理可能更適合著重生成速度的稀疏模型；需要處理較少但複雜決策的系統，則可能接受較慢生成，換取其所需的模型行為。沒有一種架構能自動勝過其他方案。

6.28 倍結果實際代表什麼？

NVIDIA 表示，Jetson AGX Thor 在結合 NVFP4 量化與推測式解碼後，解碼吞吐量相較 BF16 最高可提升 6.28 倍。不同模型的最佳推測式解碼設定也不同：Nemotron 3.5 Lightning 以 DSpark 表現最佳，Qwen3.8-27B 則以 DFlash2 最佳。 1

這個結果之所以重要，是因為解碼，也就是逐步生成輸出 token 的階段，經常決定互動式代理讓使用者感受到的反應速度。不過，它不能被解讀為每個提示詞、模型或部署條件都適用的通用速度承諾。草稿模型品質、token 接受率、批次大小、上下文長度和執行環境設定，都會影響實際吞吐量。 1

為何本地推論能改變邊緣 AI 的設計？

模型在裝置端執行後，每一次推理不必把資料送到遠端資料中心再等回應。對實體系統而言，這可能帶來較低的網路相關延遲、在連線不穩時仍可持續運作，以及將感測器資料流和營運紀錄留在裝置端的能力。NVIDIA 特別將資料在地性與即時反應需求，視為邊緣推理與代理型 AI 的價值所在。 1

這不表示雲端不再需要。模型訓練、車隊或設備管理、大規模分析，以及超出裝置記憶體與算力上限的工作，仍可交由集中式基礎設施處理。真正的改變是：資料中心不必再位於每個決策的關鍵路徑上。

哪些應用最能受益？

NVIDIA 點名的案例包括車艙內助理、即時異常偵測，以及在惡劣或偏遠環境運作的機器人。 1

這些場景的共同點，是系統必須理解現場脈絡，並在足以發揮效用的時間內做出回應，例如：

• 根據觀測結果與任務狀態推理的機器人；
• 解讀設備事件或操作紀錄的工業系統；
• 必須即時回應乘員互動的車載助理；
• 無法假設網路穩定可用的遠端巡檢或監控設備。

最適合的目標並非「只要能跑 LLM 的裝置」，而是延遲、資料在地性或離線韌性會直接影響實際作業價值的系統。

AGX Thor 在 Jetson 產品布局中的位置

Jetson AGX Thor 是 NVIDIA 面向高需求實體 AI 工作負載的高階平台。NVIDIA 表示，它結合 Blackwell GPU、128GB 記憶體，可在 130W 功耗範圍內提供最高 2,070 FP4 TFLOPS 的運算能力。 3

這樣的硬體條件正好對應本文的重點：NVFP4、高吞吐量解碼與較大型的本地推理模型。AGX Orin 對既有嵌入式部署仍具價值，而 Thor 的目標則是更吃重的生成式與多模態工作負載。

在入門級產品線，NVIDIA 已宣布 Jetson Orin Nano 2，鎖定機器人、配送與巡檢無人機，以及視覺 AI 系統；模組與開發者套件預計於 2027 年上半年推出。 1

整體來看，NVIDIA 的 Jetson 策略是分層布局：較小型系統對應入門邊緣 AI、AGX Orin 對應成熟的嵌入式部署，AGX Thor 則服務需要更多記憶體與算力來執行本地生成式推理的應用。

結論：效能數字是起點，產品測試才是答案

NVIDIA 並未宣稱每個前沿模型都能在每一款嵌入式模組上順暢運作。更精確的結論是：精簡的推理模型、vLLM 部署、NVFP4 量化與推測式解碼，能使 Jetson 級硬體執行有能力的本地 AI 代理變得更可行。 1

對開發者而言，下一步不是只看理論規格，而是用產品的真實提示詞、工具、上下文視窗與回應時間要求，在目標 Jetson 裝置上實測。6.28 倍的結果展示了最佳化的潛力；能否成為可用的邊緣 AI 系統，仍要由實際應用的基準測試決定。 1