Hva avslørte Xiaomis åpne MiMo-dashbord om AI-treningen?

Det uvanlige med Xiaomis offentlige MiMo-V2.6-dashbord var ikke bare at selskapet viste frem to AI-modeller. Leserne kunne følge deler av ettertreningen med forsterkningslæring (RL) for Pro og Flash mens den pågikk. Tallene er likevel Xiaomis innsyn i disse to treningsløpene, ikke en oversikt over modellenes grunntrening eller all aktivitet på selskapets infrastruktur.118

Steg, tokens og kostnader – hva viste skjermen?

Dashbordet viste fullførte treningssteg, pågående forsøk – kalt rollouts – antall tokens, belønningskurver, andelen oppgaver som ble løst, tidsbruk, akkumulerte kostnader og foreløpige tester av kodeferdigheter. Tellerne for treningssteg og rollouts kunne stå på ulike tall fordi nye forsøk ble generert asynkront, parallelt med oppdateringen av modellen.11822

Også enkelte driftsproblemer var synlige. Omtaler av dashbordet beskriver omstarter, GPU-er som gikk tomme for minne, og problemer med datasett. Xiaomis metrikker skiller dessuten mellom mislykkede oppgaver og forsøk som strandet på grunn av infrastrukturen. Det betyr ikke at alle hendelser nødvendigvis ble vist.1823

Et tidlig øyeblikksbilde viste begge modellene på treningssteg 10, mens rollout-steg 16 var i gang. Det oppga rundt 2,2 milliarder tokens per steg for Pro og 2,6 milliarder for Flash. Kostnadene så langt var om lag 741 000 og 322 000 dollar. Dette var status der og da, ikke sluttregninger eller faste døgnpriser.25

Slik var treningen lagt opp

Hver modelloppdatering tok utgangspunkt i 1568 oppgaver med 16 forsøk på hver: 25 088 mulige løp per steg. Generering og utføring av oppgaver kunne foregå parallelt med vurdering og modelloppdateringer. Treningsløpene blandet blant annet programmering, generelle agentoppgaver, visuelle oppgaver og cybersikkerhet, på tvers av flere oppsett for hvordan agentene utførte arbeidet.41019

Vurderingen var mer nyansert enn «bestått» eller «ikke bestått». Xiaomis beskrevne metode kombinerte kjørbare tester, kriterier tilpasset oppgaven og sammenligning av flere forsøk på samme oppgave. Også to løsninger som besto testen, kunne dermed vurderes ulikt. Selve vurderingsarbeidet krevde regnekraft: En gjennomgang av den tekniske rapporten anslår det til om lag 12,7 prosent av Pro-løpets RL-kostnad.4447

Den tidlige beskrivelsen «omtrent 2 milliarder tokens per steg» var et anslag på størrelsesordenen, ikke en fast grense. Senere omtaler oppgir høyere tall per steg.41920

Hva sier resultatene egentlig?

En belønningskurve beskriver forsøkene modellen ble trent på. Den er ikke i seg selv en uavhengig test av hva modellen kan. Metrikken dynsam/avg@n er gjennomsnittet av andelen vellykkede forsøk for hver oppgave i utvalget. Varianten dynsam/avg@n_no_infra ser bort fra forsøk som feilet av infrastrukturårsaker. Forskjellen kan hjelpe leseren å skille modellfeil fra tekniske avbrudd, men ingen av tallene måler ytelse på alle slags oppgaver.18

I det tidlige øyeblikksbildet fikk Pro 62,24 og Flash 60,77 på DeepSWE v1.1, en test av programvareoppgaver. Dette var foreløpige målinger underveis. Xiaomi oppga senere rundt 72,6 for Pro og 65,7 for Flash. Sluttallene må fortsatt leses i lys av Xiaomis eget testoppsett; de er ikke uavhengig gjenskapte resultater fra en offentlig resultatliste.251745

Xiaomi oppgir at begge løpene endte på 30 steg hver på under seks dager. RL-kostnadene var rundt 2,62 millioner dollar for Pro og 850 000 dollar for Flash, til sammen cirka 3,47 millioner dollar. Opplysningen om omtrent 750 000 løp gir best mening per modell: 25 088 mulige løp per steg ganger 30 steg er 752 640. Beløpene omfatter ikke grunntrening og alt annet utviklingsarbeid.244445

Hvor går grensen for innsynet?

I motsetning til en lansering som bare viser den ferdige modellen, ga dashbordet innsyn i utviklingen over tid og i utvalgte driftsdata. Xiaomi har siden kunngjort modellvekter for Pro og Flash, en destillert 9B-modell, en teknisk rapport, mer enn 7000 RL-oppgavemiljøer og verktøy for treningsoppsettet.115

Det offentlige materialet bekrefter likevel ikke uavhengig at visningen var uavbrutt og ufiltrert, eller at den omfattet alle samtidige jobber på infrastrukturen. At Xiaomi også har lansert en destillert modell, er heller ikke bevis for skjult destillering bak Pro- og Flash-visningene eller for at slikt arbeid inngikk i de oppgitte kostnadene.18152