Xiaomin MiMo-V2.6: näin luet vahvistusoppimisen lukuja

Xiaomi avasi julkisen näkymän, josta pystyi seuraamaan MiMo-V2.6 Pro- ja Flash-mallien koulutuksen jälkeistä vahvistusoppimista sen edetessä. Tavallisen mallijulkaisun lopputulosten sijaan tarjolla oli tietoa itse työvaiheista. Näkymä on silti luettava Xiaomin raporttina näistä kahdesta ajosta: se ei näytä mallien esikoulutusta eikä kaikkea yhtiön laskentaympäristössä tapahtunutta.118

Mitä näkymässä näkyi?

Pro- ja Flash-ajojen tiedoissa näkyivät valmistuneet koulutusvaiheet, käynnissä olleet vastausten tuottamiskierrokset eli rolloutit, käsiteltyjen tokenien määrät, palkkiokäyrät, tehtävien läpäisyasteet, vaiheiden kestot, kertyneet kustannukset ja koulutuksen aikaiset ohjelmointitestit. Koulutusvaiheen ja rollout-vaiheen laskurit eivät aina olleet samassa kohdassa, sillä yrityksiä tuotettiin asynkronisesti koulutuspäivitysten rinnalla.11822

Näkymästä ja sitä käsitelleistä raporteista ilmeni myös valikoituja toimintahäiriöitä, kuten uudelleenkäynnistyksiä, näytönohjainten muistin loppumisia ja aineistoon liittyviä ongelmia. Mittarien määritelmissä erotetaan tehtävän epäonnistuminen infrastruktuurista johtuvasta keskeytymisestä. Se on hyödyllinen ero, mutta ei tae siitä, että jokainen häiriö olisi julkaistu.1823

Eräässä varhaisessa tilannekuvassa molemmat mallit olivat koulutusvaiheessa 10, kun rollout-vaihe 16 oli käynnissä. Tokenien määräksi ilmoitettiin noin 2,2 miljardia Prolla ja 2,6 miljardia Flashilla vaihetta kohti. Kertyneet kustannukset olivat tuolloin noin 741 000 ja 322 000 dollaria. Kyse oli yhden hetken lukemista, ei lopullisista kustannuksista tai pysyvästä päiväkohtaisesta kulutuksesta.25

Miten koulutus ja arviointi toimivat?

Jokaista koulutuspäivitystä varten käytettiin 1 568 tehtävänantoa ja kustakin 16 yritystä. Näin yhdessä vaiheessa oli 25 088 mahdollista suorituspolkua. Asynkroninen järjestely mahdollisti vastausten tuottamisen ja tehtävien suorittamisen samaan aikaan arvioinnin ja mallipäivitysten kanssa. Ajoissa yhdistettiin muun muassa ohjelmointi-, yleisagentti-, kuva- ja kyberturvallisuustehtäviä sekä useita agenttien toimintaympäristöjä sen sijaan, että mallit olisi koulutettu vain yhden tehtävätyypin varassa.41019

Arviointi ei perustunut pelkkään läpäisyyn tai hylkäykseen. Xiaomin kuvaamassa menetelmässä yhdistettiin suoritettavien testien tuloksia tehtäväkohtaisiin arviointikriteereihin ja saman tehtävän eri yritysten vertailuun. Siksi myös onnistuneet ratkaisut saattoivat saada erilaisen laatuarvion. Arviointi vaati laskentatehoa: Xiaomin teknistä raporttia käsittelevän selvityksen mukaan sen osuus Pron vahvistusoppimisen kustannuksista oli noin 12,7 prosenttia.4447

Alkuvaiheen arvio ”noin kaksi miljardia tokenia vaihetta kohti” kuvasi mittakaavaa, ei kiinteää ylärajaa. Myöhemmissä selostuksissa vaihekohtaiset määrät olivat suurempia.41920

Mitä palkkiot, testipisteet ja loppusumma kertovat?

Koulutuspalkkio kuvaa päivityksessä käytettyjä suorituspolkuja; se ei ole riippumaton testi mallin kyvyistä. Näkymän dynsam/avg@n tarkoittaa tehtävänannoittain laskettua onnistuneiden yritysten osuutta, josta otetaan keskiarvo. Mittarin _no_infra-versiosta jätetään pois infrastruktuurisyistä epäonnistuneet yritykset. Lukuja vertaamalla voi välttää tulkitsemasta rikkoutunutta suoritusta mallin virheeksi, mutta kumpikaan mittari ei kuvaa suoriutumista kaikissa mahdollisissa tehtävissä.18

Varhaisessa tilannekuvassa ohjelmistokehitystehtäviä mittaavan DeepSWE v1.1:n pisteet olivat Prolla 62,24 ja Flashilla 60,77. Ne olivat koulutuksen aikaisia tuloksia. Xiaomi ilmoitti myöhemmin ajojen lopputuloksiksi noin 72,6 ja 65,7. Myös nämä luvut on ymmärrettävä Xiaomin arviointijärjestelyn tuloksina, ei riippumattomasti toistettuina julkisen tuloslistan saavutuksina.251745

Xiaomin mukaan kumpikin ajo päättyi 30 vaiheen jälkeen alle kuudessa päivässä. Pron ilmoitettu kustannus oli noin 2,62 miljoonaa dollaria ja Flashin noin 850 000 dollaria, yhteensä noin 3,47 miljoonaa dollaria. Ilmoitus noin 750 000 suorituspolusta on johdonmukaisinta tulkita mallikohtaiseksi: 25 088 mahdollista polkua vaiheessa kerrottuna 30 vaiheella on 752 640 kummallekin ajolle. Nämä kustannukset koskevat raportoituja vahvistusoppimisen ajoja, eivät esikoulutusta tai kaikkea muuta mallikehitystä.244445

Mikä jäi avoimeksi?

Poikkeuksellista oli, että Xiaomi näytti ajallisesti eteneviä koulutus- ja toimintamittareita jo ajojen aikana eikä vain valmiita malleja. Yhtiö on sittemmin ilmoittanut Pro- ja Flash-mallien painojen, 9 miljardin parametrin tislatun mallin, teknisen raportin, yli 7 000 vahvistusoppimisen tehtäväympäristön, koko työketjun kattavan kehikon sekä yhdisteltävien pienoisympäristöjen julkaisemisesta.115

Julkisuus ei silti tarkoita täydellistä näkyvyyttä. Käytettävissä olevat lähteet eivät riippumattomasti vahvista, että tietovirta oli katkeamaton ja suodattamaton, eivätkä ne näytä kaikkea samaan aikaan tapahtunutta infrastruktuurin käyttöä. Tislatun 9B-mallin julkaisu ei myöskään osoita, että näkymän taustalla olisi ollut ilmoittamatonta tislausliikennettä tai että sen kustannukset sisältyisivät näytettyihin Pro- ja Flash-lukuihin.18152