小米 MiMo-V2.6 公開訓練數據：點樣睇步數、成本同表現？

小米把 MiMo-V2.6 Pro 同 Flash 的**後訓練強化學習（RL）**數據放上公開儀表板，讓外界在訓練進行時看到步數、消耗同測試表現，而唔使等到模型發布先睇到一個最終分數。不過，呢個頁面呈現的是小米公開的兩次 RL 訓練紀錄，唔包括預訓練，亦唔代表其運算設施上所有工作都可見。118

儀表板究竟顯示咩？

Pro 同 Flash 各有一組數據，包括已完成的訓練步數、正在進行的 rollout（模型嘗試完成任務的過程）、token 數量、獎勵曲線、任務通過率、每步耗時、累計成本，以及訓練中途的編程評測。由於 rollout 同模型更新以非同步方式進行，兩種「步數」唔一定相同。11822

頁面亦顯示部分運作狀況。報道提到重啟、GPU 記憶體不足同資料集問題；儀表板的指標定義亦把基建問題造成的失敗，同一般任務失敗分開。這些紀錄有參考價值，但唔能夠證明每宗事故都有公開。1823

一個早期快照顯示，兩款模型當時都完成第 10 個訓練步，而 rollout 已進行到第 16 步；Pro 同 Flash 每步分別約處理 22 億及 26 億個 token，累計開支約為 74.1 萬及 32.2 萬美元。這只是當時讀數，唔係最終帳單，亦唔應直接當成固定每日燒錢速度。25

一步點樣產生兩萬幾次嘗試？

每次模型更新使用 1,568 個提示 × 每個提示 16 次嘗試，即每步最多 25,088 條任務軌跡。rollout 以非同步方式運作，令模型生成答案、執行任務、評分同更新參數可以交疊進行。訓練亦混合編程、一般智能代理、視覺及網絡安全等任務，並使用不同的任務執行框架，而唔係只操練單一題型。41019

評分亦唔止「過關／唔過關」。小米描述的方法結合可執行測試、按任務設定的評分準則，以及同一任務不同嘗試之間的比較；換言之，兩個都通過測試的答案，仍可因質素不同而得到不同評價。評分本身亦要用運算資源：一份對技術報告的整理指，評分約佔 Pro 強化學習成本的 12.7%。4447

早期所講的「每步約 20 億個 token」只係規模估算，唔係固定配額；後來的報道記錄到更高的每步 token 數量。41920

獎勵、DeepSWE 同成本，應該點睇？

**訓練獎勵唔等於獨立能力測試。**它反映用於當步更新的任務軌跡。儀表板把 dynsam/avg@n 定義為：先計算每個抽樣提示的多次嘗試之中有幾多成功，再對各提示取平均。dynsam/avg@n_no_infra 則排除因基建問題而失敗的嘗試。對照兩者，可以減少把壞掉的任務執行環境誤當成模型失手的機會；但兩者都唔代表模型在所有任務上的表現。18

上述早期快照的 DeepSWE v1.1 分數，Pro 為 62.24，Flash 為 60.77，屬訓練中途的檢查點評測。小米其後公布兩次訓練的結果約為 72.6 同 65.7。這些數字應連同小米採用的評測設定一齊理解，唔應當成已由外界獨立重現的公開排行榜成績。251745

按小米公布，兩款模型各自在不足六日完成 30 步，Pro 的 RL 成本約 262 萬美元，Flash 約 85 萬美元，合共約 347 萬美元。至於公布的「約 75 萬條軌跡」，按每步最多 25,088 條乘以 30 步計算，應理解為每款模型各自約 75 萬條，而唔係兩款加埋。這些開支只涵蓋所報告的 RL 訓練，唔包括預訓練及其他全部研發工作。244445

公開到咩程度？仲有咩未知道？

今次特別之處，在於外界可以趁訓練進行時，看到隨時間變化的指標同部分運作事件，而唔係只收到完成後的模型。小米其後亦宣布公開 Pro、Flash 同一款 9B 蒸餾模型的權重，以及技術報告、超過 7,000 個 RL 任務環境、端到端 RL 框架同可組合的小型任務執行框架。115

但公開儀表板唔等於完整查核。現有資料無法獨立證實數據由頭到尾都連續、未經篩選地即時呈現，亦睇唔到同期所有基建活動。小米發布了 9B 蒸餾模型，唔代表儀表板背後必然另有未披露的蒸餾工作，更無證據顯示相關工作計入 Pro、Flash 的上述成本。18152