AMD 硬體上的效能實測

AMD 公布 Muse Glimmer 30B 在其最新硬體上的初步效能測試數據。測試在 Windows 環境下進行，使用 llama.cpp 專案搭配 Vulkan 後端與 dFlash 推測解碼技術 。

• AMD Ryzen AI Max+ 395 處理器：在配備 128 GB 統一記憶體的系統上，可達到最高 每秒 24 個 tokens 。
• 單張 AMD Radeon AI PRO R9700 GPU：啟用 dFlash 推測解碼後，可達到最高 每秒 53 個 tokens 。

需要注意的是，這些都是 AMD 自行測量的初步結果，最終實際效能會因系統配置、散熱條件與工作負載而有所不同 。

該模型使用 4-bit 量化（K-Quant-Dynamic），將其在全精度下超過 55 GB 的記憶體佔用壓縮至約 18–20 GB 。這使得模型權重、KV 快取與感知編碼器能同時載入一張具備 24 GB 或 32 GB VRAM 的消費級 GPU 中 。Meta 自身的測試也發現，這種程度的量化在代理任務上「幾乎沒有造成效能衰減」。

開發者工具與整合路徑

AMD 及其合作夥伴確保開發者在首日就能透過多種途徑立即開始使用 Muse Glimmer 進行開發。

LM Studio Bionic

LM Studio 與 Meta 直接合作，在其 LM Studio Bionic 桌面應用程式中提供 Muse Glimmer 首日支援 。使用者只需在應用程式目錄中點擊幾下，即可下載並在本地端執行該模型。最小的 Muse Glimmer 變體至少需要 26 GB 的 RAM 。LM Studio 同時支援 Windows 與 Linux，採用 llama.cpp 執行環境，是 AMD 在地 AI 生態系中的關鍵工具 。

AMD Lemonade 伺服器

AMD 自家的開源在地 AI 伺服器 Lemonade，被定位為主要的整合路徑之一 。Lemonade 透過業界標準的 OpenAI API 來暴露本地運行的模型，這意味著任何原本與 OpenAI 相容的應用程式，都能立即與本地端的 Muse Glimmer 實例溝通 。它採用輕量級的 C++ 編寫，可運行於 Windows、Linux、macOS 及 Docker，並能同時支援文字生成、圖像生成與音訊模型 。

更廣泛的生態系支援

除了 LM Studio 與 Lemonade，Muse Glimmer 在發布時也獲得了廣泛的生態系支援：

• Hugging Face Transformers：官方模型權重託管於 meta-models/Muse-Glimmer-30B，採用 Apache 2.0 授權 。
• llama.cpp：透過 Vulkan 後端提供 AMD GPU 加速的主要執行環境 。
• Unsloth：支援模型的推論與微調，可在 20 GB VRAM 上進行完整的微調 。
• vLLM 與 SGLang：提供高吞吐量的推論服務 。
• Ollama：在 0.32.7 版本中提供首日支援 。
• ExecuTorch 與 MLX：適用於邊緣裝置與 Apple Silicon 的部屬 。

如此廣泛的工具鏈意味著開發者不會被綁定在單一執行環境，可以根據自己的部屬情境選擇最適合的方案 。

戰略定位：「代理型 PC」與獨立於雲端的 AI

AMD 明確將 Muse Glimmer 與其硬體的組合稱為「代理型 PC 的下一個階段」。其戰略論點主要有三：

1. 隱私與資料主權

所有推論過程完全在本地硬體上執行，這意味著敏感資料——文件、程式碼、個人資訊——完全不離開使用者的機器。沒有對第三方伺服器的 API 呼叫，沒有雲端供應商的資料記錄，也無需依賴網路連線 。對於處理機密資料的企業應用來說，這是一項決定性的優勢。

2. 零持續推論成本

一旦購入硬體，本地推論就沒有按 token 計費的問題。沒有 API 使用費，沒有推論端點的訂閱費用，也沒有可變動的雲端運算成本 。對於執行持續性代理循環或大量批次工作的開發者而言，這從根本上改變了部屬 AI 代理的經濟模型。

3. Apache 2.0 授權下的完整開發者控制權

Meta 以寬鬆的 Apache 2.0 授權釋出 Muse Glimmer，是此策略的關鍵一環 。開發者可以完整檢視、修改、微調甚至重新發布模型，完全不受限制。這消除了對單一模型供應商的依賴，也與 AMD 建立 NVIDIA 專有 CUDA 生態系之開放替代方案的總體目標一致 。

正如 AMD 在其官方部落格中所言：「像 Muse Glimmer 這樣的開放權重模型與強大的本地硬體相結合，讓所有推論過程保持私密、低延遲，且不受雲端 API 成本或連線狀態的影響」。

注意事項與考量

雖然這項宣布意義重大，但仍需注意以下幾點：

• 初步測試數據：每秒 24 和 53 tokens 的效能數據來自 AMD 在 Windows 環境下使用特定軟體堆疊（llama.cpp + Vulkan + dFlash）的早期測試。實際效能會有所差異 。
• Windows 上的 DIY 軟體堆疊：對 Windows 用戶而言，Muse Glimmer 的部屬目前仍是一個「自己動手」的軟體組合。在發布之初，AMD 並未提供一個預先配置好的「一鍵安裝」方案 。
• 硬體需求：即使是最小的量化版本，也至少需要 26 GB 的系統 RAM 。配備 16 GB RAM 的系統將無法在本地運行此模型。
• 生態系成熟度：雖然首日支援相當廣泛，但模型於 2026 年 8 月 10 日才發布，部分整合仍在陸續上線中 。

結論

AMD 確認對 Meta Muse Glimmer 30B 的在地支援，是本地 AI 生態系中的一個重要里程碑。它驗證了一個效能良好的 300 億參數代理型模型可以在單張消費級 GPU 上運行，為開發者提供了 Apache 2.0 授權下成熟的開放權重替代方案，並透過 LM Studio 與 Lemonade 提供了明確、即時的整合路徑。這項宣布強化「代理型 PC」的願景——一個讓強大 AI 代理能在使用者既有的硬體上，以私密、持續且具成本效益的方式運作的未來 。

AMD 硬體上的效能實測

AMD 公布 Muse Glimmer 30B 在其最新硬體上的初步效能測試數據。測試在 Windows 環境下進行，使用 llama.cpp 專案搭配 Vulkan 後端與 dFlash 推測解碼技術 。

• AMD Ryzen AI Max+ 395 處理器：在配備 128 GB 統一記憶體的系統上，可達到最高 每秒 24 個 tokens 。
• 單張 AMD Radeon AI PRO R9700 GPU：啟用 dFlash 推測解碼後，可達到最高 每秒 53 個 tokens 。

需要注意的是，這些都是 AMD 自行測量的初步結果，最終實際效能會因系統配置、散熱條件與工作負載而有所不同 。

該模型使用 4-bit 量化（K-Quant-Dynamic），將其在全精度下超過 55 GB 的記憶體佔用壓縮至約 18–20 GB 。這使得模型權重、KV 快取與感知編碼器能同時載入一張具備 24 GB 或 32 GB VRAM 的消費級 GPU 中 。Meta 自身的測試也發現，這種程度的量化在代理任務上「幾乎沒有造成效能衰減」。

開發者工具與整合路徑

AMD 及其合作夥伴確保開發者在首日就能透過多種途徑立即開始使用 Muse Glimmer 進行開發。

LM Studio Bionic

LM Studio 與 Meta 直接合作，在其 LM Studio Bionic 桌面應用程式中提供 Muse Glimmer 首日支援 。使用者只需在應用程式目錄中點擊幾下，即可下載並在本地端執行該模型。最小的 Muse Glimmer 變體至少需要 26 GB 的 RAM 。LM Studio 同時支援 Windows 與 Linux，採用 llama.cpp 執行環境，是 AMD 在地 AI 生態系中的關鍵工具 。

AMD Lemonade 伺服器

AMD 自家的開源在地 AI 伺服器 Lemonade，被定位為主要的整合路徑之一 。Lemonade 透過業界標準的 OpenAI API 來暴露本地運行的模型，這意味著任何原本與 OpenAI 相容的應用程式，都能立即與本地端的 Muse Glimmer 實例溝通 。它採用輕量級的 C++ 編寫，可運行於 Windows、Linux、macOS 及 Docker，並能同時支援文字生成、圖像生成與音訊模型 。

更廣泛的生態系支援

除了 LM Studio 與 Lemonade，Muse Glimmer 在發布時也獲得了廣泛的生態系支援：

• Hugging Face Transformers：官方模型權重託管於 meta-models/Muse-Glimmer-30B，採用 Apache 2.0 授權 。
• llama.cpp：透過 Vulkan 後端提供 AMD GPU 加速的主要執行環境 。
• Unsloth：支援模型的推論與微調，可在 20 GB VRAM 上進行完整的微調 。
• vLLM 與 SGLang：提供高吞吐量的推論服務 。
• Ollama：在 0.32.7 版本中提供首日支援 。
• ExecuTorch 與 MLX：適用於邊緣裝置與 Apple Silicon 的部屬 。

如此廣泛的工具鏈意味著開發者不會被綁定在單一執行環境，可以根據自己的部屬情境選擇最適合的方案 。

戰略定位：「代理型 PC」與獨立於雲端的 AI

AMD 明確將 Muse Glimmer 與其硬體的組合稱為「代理型 PC 的下一個階段」。其戰略論點主要有三：

1. 隱私與資料主權

所有推論過程完全在本地硬體上執行，這意味著敏感資料——文件、程式碼、個人資訊——完全不離開使用者的機器。沒有對第三方伺服器的 API 呼叫，沒有雲端供應商的資料記錄，也無需依賴網路連線 。對於處理機密資料的企業應用來說，這是一項決定性的優勢。

2. 零持續推論成本

一旦購入硬體，本地推論就沒有按 token 計費的問題。沒有 API 使用費，沒有推論端點的訂閱費用，也沒有可變動的雲端運算成本 。對於執行持續性代理循環或大量批次工作的開發者而言，這從根本上改變了部屬 AI 代理的經濟模型。

3. Apache 2.0 授權下的完整開發者控制權

Meta 以寬鬆的 Apache 2.0 授權釋出 Muse Glimmer，是此策略的關鍵一環 。開發者可以完整檢視、修改、微調甚至重新發布模型，完全不受限制。這消除了對單一模型供應商的依賴，也與 AMD 建立 NVIDIA 專有 CUDA 生態系之開放替代方案的總體目標一致 。

正如 AMD 在其官方部落格中所言：「像 Muse Glimmer 這樣的開放權重模型與強大的本地硬體相結合，讓所有推論過程保持私密、低延遲，且不受雲端 API 成本或連線狀態的影響」。

注意事項與考量

雖然這項宣布意義重大，但仍需注意以下幾點：

• 初步測試數據：每秒 24 和 53 tokens 的效能數據來自 AMD 在 Windows 環境下使用特定軟體堆疊（llama.cpp + Vulkan + dFlash）的早期測試。實際效能會有所差異 。
• Windows 上的 DIY 軟體堆疊：對 Windows 用戶而言，Muse Glimmer 的部屬目前仍是一個「自己動手」的軟體組合。在發布之初，AMD 並未提供一個預先配置好的「一鍵安裝」方案 。
• 硬體需求：即使是最小的量化版本，也至少需要 26 GB 的系統 RAM 。配備 16 GB RAM 的系統將無法在本地運行此模型。
• 生態系成熟度：雖然首日支援相當廣泛，但模型於 2026 年 8 月 10 日才發布，部分整合仍在陸續上線中 。

結論

AMD 確認對 Meta Muse Glimmer 30B 的在地支援，是本地 AI 生態系中的一個重要里程碑。它驗證了一個效能良好的 300 億參數代理型模型可以在單張消費級 GPU 上運行，為開發者提供了 Apache 2.0 授權下成熟的開放權重替代方案，並透過 LM Studio 與 Lemonade 提供了明確、即時的整合路徑。這項宣布強化「代理型 PC」的願景——一個讓強大 AI 代理能在使用者既有的硬體上，以私密、持續且具成本效益的方式運作的未來 。