MiMo-V2.6 की RL ट्रेनिंग: Xiaomi के सार्वजनिक डैशबोर्ड को कैसे पढ़ें

Xiaomi ने MiMo-V2.6 Pro और Flash की रीइन्फोर्समेंट लर्निंग (RL) वाली पोस्ट-ट्रेनिंग के दौरान एक सार्वजनिक डैशबोर्ड दिखाया। इससे सिर्फ तैयार मॉडल का अंतिम स्कोर नहीं, बल्कि ट्रेनिंग के बीच की प्रगति भी देखी जा सकी। फिर भी, ये Xiaomi द्वारा दिखाए गए दो रन के आँकड़े हैं—इनसे पहले की प्रीट्रेनिंग या कंपनी के पूरे कंप्यूटिंग ढाँचे में चल रहे हर काम का पता नहीं चलता।118

डैशबोर्ड पर क्या दिखता था?

Pro और Flash के अलग-अलग दृश्य पूरे हुए ट्रेनिंग स्टेप, चल रहे रोलआउट यानी मॉडल के प्रयास, टोकन की संख्या, रिवॉर्ड और टास्क पास-रेट के ग्राफ, हर स्टेप में लगा समय, अब तक का खर्च और बीच-बीच में हुए कोडिंग मूल्यांकन दिखाते थे। रोलआउट तैयार करने की प्रक्रिया ट्रेनिंग अपडेट से अलग, असिंक्रोनस ढंग से चलती थी; इसलिए दोनों के स्टेप काउंटर एक जैसे होना ज़रूरी नहीं था।11822

कुछ रिपोर्टों में डैशबोर्ड पर रीस्टार्ट, GPU मेमरी खत्म होने की त्रुटियाँ और डेटासेट से जुड़ी दिक्कतें भी दर्ज होने की बात है। डैशबोर्ड की मेट्रिक परिभाषाएँ सामान्य टास्क-विफलता और तकनीकी ढाँचे की खराबी से बेकार हुए प्रयासों में फर्क करती हैं। लेकिन इससे यह साबित नहीं होता कि हर घटना दिखाई गई थी।1823

एक शुरुआती झलक में दोनों मॉडल ट्रेनिंग स्टेप 10 पर थे, जबकि रोलआउट स्टेप 16 चल रहा था। उस समय प्रति स्टेप लगभग 2.2 अरब Pro टोकन और 2.6 अरब Flash टोकन दर्ज थे। तब तक खर्च क्रमशः लगभग 7.41 लाख डॉलर और 3.22 लाख डॉलर था। ये उस क्षण तक के आँकड़े थे—न अंतिम बिल, न रोज़ाना खर्च की स्थिर दर।25

एक स्टेप में क्या होता था?

हर अपडेट में 1,568 प्रॉम्प्ट पर 16-16 प्रयास रखे गए थे: कुल 25,088 संभावित ट्रैजेक्टरी, यानी टास्क पूरा करने के प्रयासों का रिकॉर्ड। असिंक्रोनस व्यवस्था में जवाब तैयार करना, टास्क चलाना, उनकी जाँच और मॉडल अपडेट की प्रक्रियाएँ साथ-साथ आगे बढ़ सकती थीं। एक ही रन में कोडिंग, सामान्य एजेंट, विज़ुअल और साइबर सुरक्षा से जुड़े काम कई हर्नेस—टास्क चलाने और जाँचने की व्यवस्थाओं—के ज़रिये मिलाए गए थे।41019

जाँच केवल ‘पास या फेल’ तक सीमित नहीं थी। Xiaomi के बताए तरीके में चलाकर देखे जा सकने वाले टेस्ट, टास्क के हिसाब से तय गुणवत्ता-मानदंड और उसी टास्क के अलग-अलग प्रयासों की तुलना शामिल थी। इस तरह दो सफल प्रयासों की गुणवत्ता भी अलग आँकी जा सकती थी। जाँच पर भी कंप्यूट खर्च हुआ: Xiaomi की तकनीकी रिपोर्ट पर आधारित एक विवरण इसे Pro की RL लागत का लगभग 12.7% बताता है।4447

शुरुआती विवरण में ‘प्रति स्टेप लगभग 2 अरब टोकन’ काम के पैमाने का अनुमान था, तय सीमा नहीं। बाद के विवरणों में प्रति स्टेप इससे अधिक टोकन बताए गए हैं।41920

रिवॉर्ड, DeepSWE स्कोर और अंतिम खर्च को कैसे समझें?

ट्रेनिंग रिवॉर्ड उन प्रयासों का माप है जिनसे मॉडल अपडेट हुआ; वह अपने-आप में मॉडल की क्षमता की स्वतंत्र परीक्षा नहीं है। डैशबोर्ड के अनुसार dynsam/avg@n हर चुने गए प्रॉम्प्ट के सफल प्रयासों का अनुपात निकालकर उसका औसत लेता है। dynsam/avg@n_no_infra तकनीकी ढाँचे की खराबी के कारण विफल प्रयासों को बाहर रखता है। दोनों को साथ देखने से खराब रोलआउट को मॉडल की नाकामी समझने से बचा जा सकता है, लेकिन कोई भी मेट्रिक हर संभव टास्क पर प्रदर्शन नहीं बताती।18

शुरुआती झलक में DeepSWE v1.1 पर Pro का स्कोर 62.24 और Flash का 60.77 था। ये ट्रेनिंग के बीच के मूल्यांकन थे। बाद में Xiaomi ने पूरे रन के लिए क्रमशः लगभग 72.6 और 65.7 बताए। इन्हें Xiaomi की मूल्यांकन व्यवस्था के संदर्भ में पढ़ना चाहिए, स्वतंत्र रूप से दोहराए गए सार्वजनिक लीडरबोर्ड नतीजों की तरह नहीं।251745

Xiaomi के अनुसार, दोनों रन छह दिन से कम समय में 30-30 स्टेप पर पूरे हुए। Pro की बताई गई RL लागत लगभग 26.2 लाख डॉलर और Flash की 8.5 लाख डॉलर थी—कुल लगभग 34.7 लाख डॉलर। ‘करीब 7.5 लाख ट्रैजेक्टरी’ को प्रति मॉडल समझना उचित है: 25,088 संभावित प्रयास प्रति स्टेप × 30 स्टेप = प्रति रन 7,52,640। यह खर्च प्रीट्रेनिंग या मॉडल विकास के दूसरे सभी कामों को शामिल नहीं करता।244445

खुलापन कहाँ तक है?

सिर्फ तैयार मॉडल जारी करने के बजाय इस डैशबोर्ड ने रन के दौरान समय के साथ बदलते ट्रेनिंग और परिचालन आँकड़े दिखाए। Xiaomi ने बाद में Pro और Flash के मॉडल वेट, एक 9B डिस्टिल्ड मॉडल, तकनीकी रिपोर्ट, 7,000 से अधिक RL टास्क एनवायरनमेंट, शुरू से अंत तक इस्तेमाल होने वाला RL फ्रेमवर्क और छोटे, जोड़े जा सकने वाले हर्नेस की घोषणा भी की।115

फिर भी उपलब्ध स्रोत स्वतंत्र रूप से यह सत्यापित नहीं करते कि लाइव डेटा बिना रुकावट या छँटाई के लगातार दिखा, या उसी बुनियादी ढाँचे पर चल रहा हर दूसरा काम उसमें दर्ज था। 9B डिस्टिल्ड मॉडल का जारी होना भी यह साबित नहीं करता कि Pro और Flash के दिखाए गए रन के पीछे कोई अघोषित डिस्टिलेशन ट्रैफिक चल रहा था, या उसका खर्च इन आँकड़ों में शामिल था।18152