看懂小米 MiMo-V2.6 強化學習儀表板

小米公開 MiMo-V2.6 Pro 與 Flash 的強化學習（RL）訓練儀表板時，讀者看到的不只是模型完成後的一個分數，而是兩次後訓練工作在進行中的部分紀錄。如今兩次訓練都已結束；儀表板提供了觀察過程的窗口，但它仍是小米公開的紀錄，並非預訓練或整套運算基礎設施的完整稽核資料。118

儀表板公開了哪些資訊？

Pro 和 Flash 頁面顯示已完成的訓練步數、正在進行的 rollout（模型對任務的一次作答或執行嘗試）、處理的 token 數、獎勵曲線、任務通過率、每步耗時、累計成本，以及訓練途中進行的程式設計評測。訓練步數與 rollout 步數不必相同：產生任務嘗試的流程採非同步方式運作，可以與模型更新交錯進行。11822

公開紀錄也包含部分運作異常。相關報導提到重新啟動、GPU 記憶體不足及資料集問題；儀表板的指標定義則把任務本身失敗與基礎設施故障造成的失敗區分開來。這些資訊有助判讀數據，但不能據此認定所有事故都已列出。1823

一份早期截圖顯示，兩個模型均已完成第 10 個訓練步驟，rollout 則進行到第 16 步。當時 Pro 每步約處理 22 億個 token、Flash 約 26 億個，累計花費分別約為 74.1 萬與 32.2 萬美元。這只是當下的累計數字，既不是最終帳單，也不是可直接套用的每日花費率。25

一步訓練，實際上有多大？

每次模型更新使用 1,568 個提示，每個提示產生 16 次嘗試，相乘即每步最多 25,088 條潛在軌跡。非同步 rollout 讓生成答案、在環境中執行任務、評分及模型更新不必完全依序等待。訓練內容也不是單一測驗：程式設計、一般代理任務、視覺及網絡安全任務，會透過不同的任務執行框架（harness）混合進同一次訓練。41019

評分不只看「有沒有通過」。小米描述的方法結合可執行測試、針對任務設計的評分準則，以及同一任務不同嘗試之間的比較，因此即使兩次嘗試都成功，也可能得到不同的品質評價。評分本身同樣要耗費運算資源；一份對技術報告的整理指出，它約佔 Pro 強化學習成本的 12.7%。4447

早期所說的「每步約 20 億個 token」是規模估計，不是固定配額；後續資料記錄了更高的每步 token 數。41920

獎勵曲線、DeepSWE 分數與成本，該怎麼讀？

訓練獎勵反映的是用於當步更新的任務軌跡，不能單獨當作獨立的能力測試。儀表板將 dynsam/avg@n 定義為：先計算每個抽樣提示的多次嘗試中有多少比例成功，再對提示取平均；dynsam/avg@n_no_infra 則排除因基礎設施問題而失敗的嘗試。對照兩者，較不容易把執行環境故障誤判成模型退步，但它們都不代表模型面對所有任務時的表現。18

早期截圖中的 DeepSWE v1.1 分數，Pro 為 62.24、Flash 為 60.77；那是訓練途中的檢查點評測。小米其後公布兩次訓練結束時的結果約為 72.6 與 65.7。這些分數仍須連同小米採用的評測設定一起看，不能當作已由第三方重現的公開榜單成績。251745

至於總花費，小米表示兩個模型各完成 30 步，均用時不到六天；Pro 的強化學習訓練成本約 262 萬美元，Flash 約 85 萬美元，合計約 347 萬美元。小米所說的「約 75 萬條軌跡」，依每步配置計算，宜理解為每個模型各自的規模：25,088 乘以 30，等於每次訓練有 752,640 條潛在軌跡，而非兩個模型合計只有 75 萬條。這些公布的開支不包括預訓練及其他所有模型開發工作。244445

公開訓練過程，不等於公開了全部

與只在完成後釋出模型不同，這個儀表板讓外界在訓練期間看到隨時間變化的數據和部分運作紀錄。小米其後也宣布釋出 Pro、Flash 及一款蒸餾而成的 9B 模型，並公布技術報告、逾 7,000 個強化學習任務環境、端到端強化學習框架及可組合的小型任務執行框架。115

但公開程度不應被誇大：現有來源無法獨立確認儀表板全程連續、未經篩選地即時更新，也無法看見同一基礎設施上所有並行工作。9B 蒸餾模型的存在，同樣不能證明有未公開的蒸餾流量藏在 Pro、Flash 兩次展示的訓練之中，或已計入它們公布的成本。18152