Mistral publiserte de åpne modellvektene til Mistral Large 4, med kallenavnet «Le Chonk», 29. oktober. Modellen ble vist fram i en forhåndsversjon 6. oktober. Selskapet presenterer den som et sterkere åpent alternativ for koding og defensiv cybersikkerhet. Resultatene er interessante, men gjelder bestemte tester – de viser ikke at modellen er best til alle typer oppgaver.
4
7
9
18
Hva er nytt siden forhåndsversjonen?
Mistral sier at ytterligere forsterkende læring økte modellens resultat på Terminal-Bench 4.0 fra 28 prosent i forhåndsversjonen til 41 prosent i den publiserte versjonen. Det er en økning på 13 prosentpoeng.
21
31 I Artificial Analysis Coding Agent Index oppgir selskapet en score på 48 prosent, på nivå med GLM-5.3. Ifølge omtalen brukte Large 4 samtidig 47 prosent færre tokener per oppgave i denne sammenligningen.
31
35
Dette er resultater fra konkrete evalueringer. De dokumenterer ikke hvordan modellen vil prestere i alle typer programmeringsarbeid. At den brukte færre tokener i én sammenligning, betyr heller ikke automatisk at de samlede driftskostnadene blir lavere. Det foreliggende materialet gir heller ikke grunnlag for en tallfestet, direkte sammenligning med Anthropics Mythos 5.1.
En multimodal modell med over én billion parametere
Mistrals dokumentasjon beskriver Large 4 som en multimodal modell med en blanding-av-eksperter-arkitektur (mixture of experts), 1,05 billioner parametere totalt og en synsmodul med 1,6 milliarder parametere.
17 Det er verdt å skille mellom totalt antall parametere og hvor mange som aktiveres per token: Modellbeskrivelsen på Hugging Face oppgir 49 milliarder aktive parametere per token, eller 52 milliarder når innbygginger og utgangslaget regnes med.
20
Da Mistral presenterte forhåndsversjonen, sa selskapet at modellen var trent på 3 800 Nvidia Grace Blackwell-GPU-er i egne datasentre i Europa.
6 Omtalen av lanseringen beskriver tre innstillinger for resonnering – lav, middels og høy – slik at brukere kan velge hvor mye resonnering modellen skal bruke.
34
Åpne vekter betyr ikke at alle lisensvilkår er like
Modellvektene er tilgjengelige via Hugging Face, og lisensen heter Mistral Ecosystem Open-Weight License. Lisensdokumentet beskriver den som en endret versjon av MIT-lisensen.
18
32 «Åpne modellvekter» betyr derfor ikke nødvendigvis at alle former for videredistribusjon eller driftede tjenester automatisk omfattes av standardvilkårene i MIT-lisensen. Virksomheter som vurderer en kommersiell løsning, bør lese selve lisensen og avklare hvilke vilkår som gjelder for deres bruk.
32
36
I praksis kan organisasjoner hente modellvektene, i stedet for å være avhengige av tilgang gjennom en leverandørs API. Det kan åpne for egen drift eller tilpasning av modellen. Selve publiseringen sier imidlertid ikke hvor mye infrastruktur en konkret utrulling vil kreve.
Cyberpåstandene må leses med forbehold
Omtale av lanseringen oppgir en score på 51 prosent på Artificial Analysis Cyber Index og en gjennomsnittlig avvisningsrate på 96,6 prosent for ondsinnede cyberforespørsler.
31
33 Dette er rapporterte evalueringsresultater – ikke en garanti for at modellen avviser alle skadelige forespørsler, eller at åpne modellvekter ikke kan misbrukes.
Resultater på defensiv cybersikkerhet og motstand mot ondsinnede forespørsler måler ulike ting. Tallene bør vurderes sammen med detaljene i testene og behovene ved en faktisk utrulling. Alene avgjør de ikke hvilken risiko det innebærer å gjøre en modell bredt tilgjengelig.
Hva lanseringen betyr – og ikke beviser
Large 4 gir organisasjoner enda et europeiskutviklet alternativ med åpne modellvekter i et marked som også rommer åpne og lukkede modeller fra andre deler av verden. Mistral har framhevet den europeiske infrastrukturen og modellens resultater mot konkurrenter med åpne vekter.
6
15
18 For brukerne er det sentrale skillet at vektene kan hentes og driftes, ikke en generell konklusjon om kvalitet basert på hvilket land modellen kommer fra.
Den best underbygde konklusjonen er mer avgrenset: Mistral rapporterer en tydelig framgang på en kodingsbenchmark fra forhåndsversjon til lansering, samt en konkurransedyktig score på en kodeagent-indeks med lavere tokenbruk i én sammenligning. Det kan gjøre Large 4 verdt å teste på egne oppgaver. Resultatene beviser ikke at modellen er best på alle områder, bekrefter ikke uavhengig alle påstandene om cybersikkerhet og fjerner ikke behovet for å vurdere lisensvilkår og risiko ved utrulling.