阿里巴巴嘅 Qwen3.8-2.4T-A95B，係同 Qwen3.8-Max 旗艦級產品相關嘅開放權重版本。佢真正嘅意義，唔係一個 2.4 萬億參數模型忽然變到人人都可以喺本機跑；而係有足夠資源嘅機構可以拎到權重，自行部署、改造同後訓練，而唔使完全依賴託管 API。對雲端服務商、大型企業、受監管行業部署，以及有分散式推理能力嘅研究團隊而言，呢一點相當關鍵。11821

一句講清：950 億「活躍」唔代表只係 950 億模型

Qwen3.8-2.4T-A95B 係文字生成模型，採用稀疏型 **Mixture-of-Experts（MoE，專家混合）**架構：總參數有 2.4 萬億，但每處理一個 token，大約只會啟用 950 億參數。NVIDIA 文件列出模型有 92 層、512 個路由專家，並採用 top-10 專家路由。1821

呢個分別好重要。MoE 唔會每個 token 都計盡全部參數，所以逐 token 嘅運算量可低過同等總規模嘅稠密模型；但唔好以為資源問題就消失咗。模型權重仍要儲存或分散到多個節點，仲要處理專家並行、節點間網絡傳輸，同隨長提示增加嘅 KV cache 記憶體負荷。

模型結合 Gated DeltaNet 同 gated-attention 元件，設計方向包括長上下文文字處理。但實際好唔好用，始終要睇你嘅提示長度、同時用戶數、精度格式同推理服務堆疊，唔可以單靠規格表下結論。119

262K 到 100 萬 token：長上下文係能力，不是免費午餐

A95B 原生上下文長度係 262,144 token。NVIDIA 文件亦描述過可支援 100 萬 token 上下文嘅部署，而列出嘅最大輸出約為 131K token。11921

不過，見到「100 萬 token」唔好直接理解成每次都快、平同穩定。提示越長，預填充（prefill）運算越重，KV cache 壓力亦越大。假如團隊想做大型文件分析、企業知識庫檢索，或者長鏈路 agent 工作流，應按真實輸入長度同併發量實測，而唔係只睇理論上限。

推理同 agent 工作流：模型夠強，唔代表成套系統已經齊

模型支援 reasoning_effort 設定，可選 low、medium 同 xhigh，用速度同成本去交換更深入嘅推理；其公開預設亦著重保留 thinking 內容。1

因此，佢可以係程式編寫、研究綜合、長篇文件分析，以至 agent 類工作流嘅候選模型。不過，agent 唔係得一個模型就搞掂：生產環境仍然要由應用層處理工具定義、權限邊界、隔離執行、重試、監測同評估。

仲有一個不能忽略嘅限制：公開 checkpoint 只支援文字，而且有報道指 thinking 不能關閉。如果你需要圖片或影片輸入、低延遲嘅非推理對話路徑，或者平台原生工具，就要分清楚可下載 A95B 同託管 Qwen3.8-Max 並唔係同一件事。3821

開放權重帶來控制權，但唔會降低營運難度

開放權重可令團隊更自主決定資料存放位置、部署架構、客製化方式同後訓練流程。NVIDIA NeMo AutoModel 已為呢個模型提供全參數微調支援，包括 FSDP2、專家並行同 pipeline parallelism，反映大型機構有一條專門化嘅後訓練路徑可行。18

代價係非常高嘅工程門檻。NVIDIA NIM 文件列出一條只支援 GB300-NVL72 嘅部署路徑，最低要求 4 個節點，並且要用 Kubernetes。NVIDIA Dynamo 方案則涉及 vLLM 或 SGLang、FP8 權重及 KV cache、張量並行與 KV-aware routing；其中一個已文件化配置用到 4 個節點合共 16 張 GB300 GPU。1921

呢啲係廠商支援嘅參考方案，唔係所有情況下絕對最低要求；但足以講明目標運行環境係咩級數：一般唔會係手提電腦、普通工作站，甚至唔係尋常單伺服器可以處理。

真正左右成本同體驗嘅幾個部署做法

對咁大嘅模型，基建設計隨時比「選邊個模型」更影響成效：

• 量化（quantization）：較低精度可以減少模型記憶體需求，但品質同穩定性一定要用目標工作負載驗證。AWS 列出 FP8、MXFP4 同 NVFP4 等可用於降低推理記憶體需求嘅格式。
• 分拆 prefill 同 decode：處理整段提示，同逐 token 生成答案，樽頸唔同。AWS 說明，可將兩個階段分派去不同 GPU 資源池，減少互相干擾，適合嘅負載下可改善 token 延遲。
• 投機式解碼（speculative decoding）：先由較便宜嘅草稿機制提議 token，再由目標模型驗證；當接受率理想時，可減少串行解碼工作。
• 分散式服務：NVIDIA 配方將模型配搭 vLLM 或 SGLang，並於 GB200 或 GB300 系統上使用 KV-aware routing、FP8 同多節點並行。19

NVIDIA 曾報告，在特定 Day-0 FP8 GB300 NVL72 配置下，每張 GPU 超過每秒 4,000 token、每名用戶超過每秒 350 token。呢啲係特定硬件同軟件組合嘅廠商測試數字，唔應視為任何生產工作負載都必然達到嘅表現。

授權：開放權重，不等於 Apache 或 MIT

A95B 使用自訂 Qwen3.8-Max License，並非 Apache-2.0 或 MIT。授權文字提供使用、修改、分發、託管、微調同建立衍生作品等廣泛權利，但附帶特定條件。

發佈摘要指出，部分模型即服務（MaaS）及 AI 工作助理業務，如收入超過指定門檻，或會有額外責任。條款足以影響商業部署同下游分發，因此準備推出產品前，團隊應閱讀最新完整授權內容，並向法律顧問徵詢意見。310

託管 Qwen3.8-Max 定自建 A95B？

託管版 Qwen3.8-Max 被描述為基於 A95B 嘅官方版本，但額外提供視覺輸入、非思考模式、預設 100 萬 token 上下文，以及官方內建工具。812

實際選擇可簡化為：

• 揀託管服務：如果你更重視託管擴容、多模態、整合工具同較低營運負擔。
• 考慮自建 A95B：如果資料主權、自訂服務行為、微調需要，或者長期高使用率，足以抵銷龐大基建同營運成本。

換句話講，公開 checkpoint 唔係託管產品嘅逐項功能替代品；佢係一個能力很強嘅文字底座，周邊產品層、工具層同基建層都要由採用者自己補齊。

Benchmarks 點睇先唔會中伏？

Qwen 將 A95B 定位為 Max 級模型，發佈資料亦報告佢喺程式編寫、研究同推理類 benchmark 有強勁成績。呢啲結果可以當作值得跟進嘅訊號，但唔足以證明佢對每一種任務、語言或部署環境都必定最好。6

較穩陣嘅決策方式，係以自己嘅目標語言、工具調用序列、檢索長度、輸出格式、安全要求、延遲目標同成本預算做評測。對多數團隊而言，核心問題唔係「950 億活躍參數勁唔勁」，而係能力提升值唔值得承受營運一個 2.4 萬億參數模型嘅複雜度同開支。

總結

Qwen3.8-2.4T-A95B 之所以重要，在於佢令需要掌握權重同部署控制權嘅機構，有機會使用 Qwen-Max 級、2.4 萬億參數嘅 MoE 文字模型。稀疏架構令逐 token 運算成本比相近規模嘅稠密模型更有利，但整體依然係一個高要求嘅分散式系統工程項目。

對資源充足嘅團隊，佢可以成為可客製、可主權部署、旗艦級文字推理同後訓練嘅路徑；對只想簡單本地跑模型嘅小型團隊，較細模型或者託管端點通常會係更現實嘅選擇。181921

阿里巴巴嘅 Qwen3.8-2.4T-A95B，係同 Qwen3.8-Max 旗艦級產品相關嘅開放權重版本。佢真正嘅意義，唔係一個 2.4 萬億參數模型忽然變到人人都可以喺本機跑；而係有足夠資源嘅機構可以拎到權重，自行部署、改造同後訓練，而唔使完全依賴託管 API。對雲端服務商、大型企業、受監管行業部署，以及有分散式推理能力嘅研究團隊而言，呢一點相當關鍵。11821

一句講清：950 億「活躍」唔代表只係 950 億模型

Qwen3.8-2.4T-A95B 係文字生成模型，採用稀疏型 **Mixture-of-Experts（MoE，專家混合）**架構：總參數有 2.4 萬億，但每處理一個 token，大約只會啟用 950 億參數。NVIDIA 文件列出模型有 92 層、512 個路由專家，並採用 top-10 專家路由。1821

呢個分別好重要。MoE 唔會每個 token 都計盡全部參數，所以逐 token 嘅運算量可低過同等總規模嘅稠密模型；但唔好以為資源問題就消失咗。模型權重仍要儲存或分散到多個節點，仲要處理專家並行、節點間網絡傳輸，同隨長提示增加嘅 KV cache 記憶體負荷。

模型結合 Gated DeltaNet 同 gated-attention 元件，設計方向包括長上下文文字處理。但實際好唔好用，始終要睇你嘅提示長度、同時用戶數、精度格式同推理服務堆疊，唔可以單靠規格表下結論。119

262K 到 100 萬 token：長上下文係能力，不是免費午餐

A95B 原生上下文長度係 262,144 token。NVIDIA 文件亦描述過可支援 100 萬 token 上下文嘅部署，而列出嘅最大輸出約為 131K token。11921

不過，見到「100 萬 token」唔好直接理解成每次都快、平同穩定。提示越長，預填充（prefill）運算越重，KV cache 壓力亦越大。假如團隊想做大型文件分析、企業知識庫檢索，或者長鏈路 agent 工作流，應按真實輸入長度同併發量實測，而唔係只睇理論上限。

推理同 agent 工作流：模型夠強，唔代表成套系統已經齊

模型支援 reasoning_effort 設定，可選 low、medium 同 xhigh，用速度同成本去交換更深入嘅推理；其公開預設亦著重保留 thinking 內容。1

因此，佢可以係程式編寫、研究綜合、長篇文件分析，以至 agent 類工作流嘅候選模型。不過，agent 唔係得一個模型就搞掂：生產環境仍然要由應用層處理工具定義、權限邊界、隔離執行、重試、監測同評估。

仲有一個不能忽略嘅限制：公開 checkpoint 只支援文字，而且有報道指 thinking 不能關閉。如果你需要圖片或影片輸入、低延遲嘅非推理對話路徑，或者平台原生工具，就要分清楚可下載 A95B 同託管 Qwen3.8-Max 並唔係同一件事。3821

開放權重帶來控制權，但唔會降低營運難度

開放權重可令團隊更自主決定資料存放位置、部署架構、客製化方式同後訓練流程。NVIDIA NeMo AutoModel 已為呢個模型提供全參數微調支援，包括 FSDP2、專家並行同 pipeline parallelism，反映大型機構有一條專門化嘅後訓練路徑可行。18

代價係非常高嘅工程門檻。NVIDIA NIM 文件列出一條只支援 GB300-NVL72 嘅部署路徑，最低要求 4 個節點，並且要用 Kubernetes。NVIDIA Dynamo 方案則涉及 vLLM 或 SGLang、FP8 權重及 KV cache、張量並行與 KV-aware routing；其中一個已文件化配置用到 4 個節點合共 16 張 GB300 GPU。1921

呢啲係廠商支援嘅參考方案，唔係所有情況下絕對最低要求；但足以講明目標運行環境係咩級數：一般唔會係手提電腦、普通工作站，甚至唔係尋常單伺服器可以處理。

真正左右成本同體驗嘅幾個部署做法

對咁大嘅模型，基建設計隨時比「選邊個模型」更影響成效：

• 量化（quantization）：較低精度可以減少模型記憶體需求，但品質同穩定性一定要用目標工作負載驗證。AWS 列出 FP8、MXFP4 同 NVFP4 等可用於降低推理記憶體需求嘅格式。
• 分拆 prefill 同 decode：處理整段提示，同逐 token 生成答案，樽頸唔同。AWS 說明，可將兩個階段分派去不同 GPU 資源池，減少互相干擾，適合嘅負載下可改善 token 延遲。
• 投機式解碼（speculative decoding）：先由較便宜嘅草稿機制提議 token，再由目標模型驗證；當接受率理想時，可減少串行解碼工作。
• 分散式服務：NVIDIA 配方將模型配搭 vLLM 或 SGLang，並於 GB200 或 GB300 系統上使用 KV-aware routing、FP8 同多節點並行。19

NVIDIA 曾報告，在特定 Day-0 FP8 GB300 NVL72 配置下，每張 GPU 超過每秒 4,000 token、每名用戶超過每秒 350 token。呢啲係特定硬件同軟件組合嘅廠商測試數字，唔應視為任何生產工作負載都必然達到嘅表現。

授權：開放權重，不等於 Apache 或 MIT

A95B 使用自訂 Qwen3.8-Max License，並非 Apache-2.0 或 MIT。授權文字提供使用、修改、分發、託管、微調同建立衍生作品等廣泛權利，但附帶特定條件。

發佈摘要指出，部分模型即服務（MaaS）及 AI 工作助理業務，如收入超過指定門檻，或會有額外責任。條款足以影響商業部署同下游分發，因此準備推出產品前，團隊應閱讀最新完整授權內容，並向法律顧問徵詢意見。310

託管 Qwen3.8-Max 定自建 A95B？

託管版 Qwen3.8-Max 被描述為基於 A95B 嘅官方版本，但額外提供視覺輸入、非思考模式、預設 100 萬 token 上下文，以及官方內建工具。812

實際選擇可簡化為：

• 揀託管服務：如果你更重視託管擴容、多模態、整合工具同較低營運負擔。
• 考慮自建 A95B：如果資料主權、自訂服務行為、微調需要，或者長期高使用率，足以抵銷龐大基建同營運成本。

換句話講，公開 checkpoint 唔係託管產品嘅逐項功能替代品；佢係一個能力很強嘅文字底座，周邊產品層、工具層同基建層都要由採用者自己補齊。

Benchmarks 點睇先唔會中伏？

Qwen 將 A95B 定位為 Max 級模型，發佈資料亦報告佢喺程式編寫、研究同推理類 benchmark 有強勁成績。呢啲結果可以當作值得跟進嘅訊號，但唔足以證明佢對每一種任務、語言或部署環境都必定最好。6

較穩陣嘅決策方式，係以自己嘅目標語言、工具調用序列、檢索長度、輸出格式、安全要求、延遲目標同成本預算做評測。對多數團隊而言，核心問題唔係「950 億活躍參數勁唔勁」，而係能力提升值唔值得承受營運一個 2.4 萬億參數模型嘅複雜度同開支。

總結

Qwen3.8-2.4T-A95B 之所以重要，在於佢令需要掌握權重同部署控制權嘅機構，有機會使用 Qwen-Max 級、2.4 萬億參數嘅 MoE 文字模型。稀疏架構令逐 token 運算成本比相近規模嘅稠密模型更有利，但整體依然係一個高要求嘅分散式系統工程項目。

對資源充足嘅團隊，佢可以成為可客製、可主權部署、旗艦級文字推理同後訓練嘅路徑；對只想簡單本地跑模型嘅小型團隊，較細模型或者託管端點通常會係更現實嘅選擇。181921