Mistral julkaisi Mistral Large 4 -mallin avoimet painot 29. lokakuuta. Malli tunnetaan myös lempinimellä ”Le Chonk”, ja sitä oli esitelty ennakkoversiona 6. lokakuuta. Yhtiö markkinoi julkaisua vahvana avoimien painojen vaihtoehtona koodaukseen ja puolustavaan kyberturvallisuustyöhön. Raportoidut tulokset ovat huomionarvoisia, mutta ne koskevat tiettyjä testejä – eivät todista mallia parhaaksi kaikissa käyttötarkoituksissa.
4
7
9
18
Ennakkoversiosta julkaisuun: mitä muuttui?
Mistralin mukaan lisävahvistusoppiminen nosti Large 4:n Terminal-Bench 4.0 -tuloksen ennakkoversion 28 prosentista julkaistun version 41 prosenttiin. Nousua kertyi 13 prosenttiyksikköä.
21
31 Artificial Analysis Coding Agent Indexissä mallin raportoitu tulos on 48 prosenttia, sama kuin GLM-5.3:lla. Vertailussa Large 4:n kerrotaan käyttäneen tehtävää kohti 47 prosenttia vähemmän tokeneita.
31
35
Luvut kuvaavat suoriutumista rajatuissa arvioinneissa. Ne eivät kerro, miten malli pärjää kaikenlaisessa ohjelmistotyössä. Myöskään pienempi tokenimäärä ei yksin osoita, että käytön kokonaiskustannukset olisivat alemmat. Saatavilla oleva uutisointi ei myöskään tarjoa perusteltua, suoraan vertailukelpoista numerotulosta Anthropic Mythos 5.1 -mallia vastaan.
Biljoonan parametrin multimodaalinen malli
Mistralin dokumentaation mukaan Large 4 on multimodaalinen mixture-of-experts-malli, jossa on yhteensä 1,05 biljoonaa parametria ja 1,6 miljardin parametrin näköenkooderi.
17 Parametrimäärästä on hyvä erottaa aktiivinen osuus: Hugging Facen mallikuvauksen mukaan kutakin tokenia kohti aktiivisia parametreja on 49 miljardia, tai 52 miljardia, kun upotukset ja ulostulokerros lasketaan mukaan.
20
Mistral kertoi mallin ennakkojulkistuksen yhteydessä, että se koulutettiin yhtiön Euroopassa sijaitsevissa datakeskuksissa 3 800 Nvidia Grace Blackwell -grafiikkasuorittimella.
6 Julkaisua käsittelevissä uutisissa mainitaan kolme päättelyn asetusta: matala, keskitaso ja korkea. Käyttäjä voi siis valita tehtävään sopivan päättelyn tason.
34
Avoimet painot eivät tarkoita automaattisesti MIT-ehtoja
Mallin painot ovat saatavilla Hugging Facessa. Julkaistu lisenssi on nimeltään Mistral Ecosystem Open-Weight License, ja sen tekstissä sitä kuvataan muokatuksi MIT-lisenssiksi.
18
32 ”Avoimet painot” ei siis tarkoita, että kaikki jakelu- tai palvelukäyttö olisi automaattisesti tavallisen MIT-lisenssin ehtojen piirissä. Kaupallista palvelua rakentavan kannattaa lukea lisenssin ehdot ja selvittää, mitä ne koskevat juuri omassa käytössä.
32
36
Käytännössä painojen julkaisu antaa organisaatioille mahdollisuuden hankkia mallin tiedostot sen sijaan, että käyttö perustuisi pelkästään palveluntarjoajan ohjelmointirajapintaan. Se voi tehdä mallin omalla infrastruktuurilla ajamisesta tai muokkaamisesta mahdollista. Julkaisu itsessään ei kuitenkaan kerro, millaista laitteistoa yksittäinen käyttöönotto vaatii.
Kyberturvallisuusluvut vaativat tulkintaa
Julkaisua käsittelevissä lähteissä mallille ilmoitetaan 51 prosentin tulos Artificial Analysis Cyber Indexissä sekä keskimäärin 96,6 prosentin kieltäytymisaste haitallisissa kyberpyynnöissä.
31
33 Kyse on raportoiduista arviointituloksista, ei takeista siitä, että malli torjuisi jokaisen haitallisen pyynnön tai ettei avoimien painojen julkaisuun liittyisi väärinkäytön riskiä.
Puolustavan kyberturvallisuuden tehtävissä suoriutuminen ja haitallisiin kehotteisiin kieltäytyminen mittaavat eri asioita. Lukuja kannattaa tarkastella arviointien menetelmien ja todellisen käyttötarkoituksen rinnalla. Ne eivät yksin ratkaise, millaisia riskejä laajasti saatavilla olevaan malliin liittyy.
Mitä julkaisu kertoo – ja mitä se ei todista?
Large 4 tuo markkinoille uuden Euroopassa kehitetyn avoimien painojen vaihtoehdon, kun tarjolla on sekä avoimia että suljettuja malleja eri puolilta maailmaa. Mistral on nostanut esiin mallin eurooppalaisen koulutusinfrastruktuurin ja sen tulokset avoimien painojen kilpailijoihin nähden.
6
15
18 Käyttäjän kannalta olennainen ero on mahdollisuus saada mallin painot tarkasteltaviksi ja käyttöönotettaviksi – ei yleinen johtopäätös mallin laadusta sen kehittäjän kotimaan perusteella.
Vahvimmin tuettu johtopäätös on rajatumpi: Mistral raportoi merkittävän parannuksen koodaustestissä ennakkoversion ja julkaisun välillä. Lisäksi yhtiö ilmoittaa kilpailukykyisestä koodausagenttituloksesta ja pienemmästä tokenien käytöstä yhdessä vertailussa. Tulokset voivat tehdä Large 4:stä testaamisen arvoisen mallin omiin tehtäviin. Ne eivät kuitenkaan todista laaja-alaista ylivoimaa, vahvista riippumattomasti kaikkia kyberturvallisuusväitteitä tai poista tarvetta arvioida lisenssiä ja käyttöönoton riskejä.