OpenAI 傳出一次過買入數萬部 Mac mini 和 Mac Studio,表面上好似係 AI 硬件市場出現大變局;但按目前資料,較合理嘅解讀係:OpenAI 需要大量獨立嘅 macOS 環境,畀電腦操作代理進行強化學習和測試。
呢件事未必代表 Apple silicon 要取代用於前沿模型訓練嘅 Nvidia GPU 叢集。報道所指嘅數量和具體部署方式,暫時都未有獨立確認。
1
11
AI 代理點解需要一部「真電腦」?
一般聊天機械人主要係輸入文字、輸出文字;但電腦操作代理(computer-use agent)就要真正使用電腦。佢可能要開瀏覽器、按介面按鈕、管理檔案、處理權限提示,甚至喺畫面狀態改變後自己搵方法復原。
要訓練呢類系統,AI 唔可以只係睇文字答案,而係要喺接近真實嘅作業系統環境入面,反覆嘗試、犯錯,再根據結果改善策略。大量 Mac mini 或 Mac Studio 就可以充當一個個獨立嘅 macOS 工作節點,用嚟運行代理、做評估、提供推理服務,或者產生強化學習所需嘅訓練軌跡。
強化學習入面,系統通常會喺環境中進行大量嘗試,記錄每次行動和結果,再用呢啲資料更新策略。當環境係一個真實桌面,而唔係單純模擬器,直接提供 macOS、應用程式和權限流程,可能比自行模擬所有桌面行為更實際。
據報 Anthropic 亦透過 Amazon Web Services(AWS)租用 Mac 運算容量,進行類似嘅電腦操作代理工作。
1
2
6
Apple silicon 最大賣點:統一記憶體
Apple silicon 將 CPU、GPU 和神經處理資源放喺同一個統一記憶體池上。傳統「CPU 加獨立 GPU」架構通常要喺系統記憶體和 GPU 記憶體之間搬運資料;Apple 嘅設計就可以減少呢類複製和轉移。
5
對本地 AI 而言,記憶體容量有時比宣傳上嘅 AI 加速數字更加關鍵。較大嘅共享記憶體池,可以同時容納:
- 模型權重;
- 應用程式狀態;
- 數據集;
- 上下文和 KV cache;以及
- 推理框架本身嘅額外開銷。
因此,高記憶體 Mac 特別適合以下工作:
- 本地模型服務;
- 量化大型語言模型推理;
- AI 代理評估和協調;
- 數據整理及預處理;
- 私人、離線或對延遲要求較高嘅部署。
不過,統一記憶體唔代表 Mac 喺所有 AI 工作都會更快。Apple silicon 仍然缺乏 Nvidia CUDA 生態、大型數據中心互聯網絡,以及大規模分散式訓練方面嘅成熟工具鏈。
所以較可能出現嘅唔係「Mac 取代 Nvidia」,而係異質化基礎設施:用數據中心 GPU 做前沿模型預訓練和高吞吐量工作,再用 Mac 或其他本地系統處理大量平行代理運行、測試和端點推理。
新一代 Mac mini 和 Mac Studio 點樣配合?
Apple 最近更新桌面產品線,提供兩個截然不同嘅硬件層級。新 Mac mini 起價 899 美元,可選 M6 或 M5 Pro;Mac Studio 就由 2,499 美元起,配備 M5 Max,M5 Ultra 版本起價 5,499 美元。Apple 表示新機由 9 月 22 日開始供貨。
17
18
26
M6 係 Apple 首款採用 2 奈米製程嘅 Mac 晶片,而 M5 Ultra 就係高記憶體版本。Apple 表示,M5 Ultra 最多可配置 512GB 統一記憶體,記憶體頻寬達 1.2TB/s,定位係喺裝置本身運行擁有數千億參數嘅語言模型。
21
33
以 AI 工作分工嚟講,可以大致咁睇:
- Mac mini: 體積細、成本相對低,適合大量部署,建立獨立代理環境、測試節點和輕量推理服務。
- Mac Studio: 記憶體容量和運算能力更高,適合研究員、開發者、本地模型服務,以及普通消費級 GPU 難以容納嘅模型。
如果 OpenAI 真係買入數萬部 Mac,呢個策略就有一定道理:用大量較細嘅機器建立平行環境,再以高規格 Mac 支援較大型模型和研發工作。
256GB M5 Ultra 可以運行幾大模型?
256GB 版本已經相當充裕,但唔係 M5 Ultra 最高記憶體配置。概括而言,佢應該可以輕鬆運行 70B 級模型,尤其係量化版本,而且仲有空間畀 macOS、上下文和推理框架使用。
以四 bit 量化計算,70B 模型一般需要大約 40 至 48GB 可用記憶體,實際數字會因量化方法和軟件實作而變化。
54
同一部機亦可能容納部分更大型、採用稀疏架構或混合專家(Mixture of Experts,MoE)架構嘅模型。現有估算認為,某些約 235B 至 284B 參數模型,經過大幅量化後可以放入 256GB 系統;但呢啲屬於估算,唔係廠商實測數據。
40
50
51
模型卡上面嘅參數數字,唔足以決定一個模型「跑唔跑得」。實際結果仲要睇:
- 模型係密集型定係混合專家架構;
- 量化級別;
- 上下文長度和 KV cache 需求;
- 推理框架嘅額外開銷;
- 用戶對回應速度和並行數量嘅要求。
一個模型就算勉強放得入記憶體,亦可能慢到唔適合互動式代理工作。相反,一個細啲但回應快、可以同時處理多個任務嘅模型,實際上可能更加有用。
呢次 Mac 購買潮究竟證明咗乜?
最穩妥嘅結論係:AI 基礎設施正由單一嘅超大型 GPU 叢集,擴展到更多類型嘅機器。
當 AI 代理要操作真實桌面、反覆產生大量嘗試,或者需要私隱、低延遲和可控嘅本地環境時,數量多、容易管理嘅小型電腦就有價值。呢種工作負載亦相當適合「大量獨立節點平行運行」,未必需要所有運算都集中喺一個大型 GPU 叢集入面。
但目前資料唔足以證明所有附帶嘅市場說法。例如,將 Mac 購買潮同特定供應短缺、Mac 業務增長 29%,或者 Nvidia 將 Apple 視為本地 AI 主要競爭對手直接掛鈎,現時都未有足夠可靠資料支持。呢啲講法應該繼續視為未獲證實嘅說法,而唔係已經塵埃落定嘅結果。
Apple 最有機會受惠嘅,係兩個市場層面:一係高記憶體本地推理,二係 AI 代理開發、評估和部署所需嘅機器群組。至於需要最高訓練吞吐量、超大型分散式系統嘅工作,Nvidia 和其他數據中心加速器仍然會佔有重要位置。
換句話講,未來更可能係「Mac 加 Nvidia」嘅分工,而唔係「Mac 對 Nvidia」嘅全面取代。