Mistral 29. října zveřejnil otevřené váhy modelu Mistral Large 4, přezdívaného „Le Chonk“. Veřejný náhled firma představila už 6. října. Novou verzi popisuje jako silnější možnost pro programování a obrannou kyberbezpečnost. Uváděné výsledky jsou zajímavé, ale vypovídají o konkrétních testech — ne o tom, že model vede ve všech typech práce.
4
7
9
18
Co se změnilo od říjnového náhledu?
Mistral uvádí, že další posilovací učení zvýšilo skóre modelu v testu Terminal-Bench 4.0 z 28 % na 41 %. Jde o nárůst o 13 procentních bodů.
21
31 V žebříčku Artificial Analysis Coding Agent Index dosáhl model podle dostupných zpráv 48 %, tedy stejného skóre jako GLM-5.3. V tomto srovnání měl navíc spotřebovat o 47 % méně tokenů na úlohu.
31
35
Tato čísla se vztahují ke konkrétním evaluacím. Neříkají, jak si model povede při každodenní práci vývojářského týmu, ani nedokazují, že méně tokenů automaticky znamená nižší celkové náklady na provoz. Dostupné podklady také neposkytují spolehlivé číselné srovnání se zavřeným modelem Mythos 5.1 od Anthropic.
Multimodální model s bilionem parametrů
Podle dokumentace Mistralu jde o multimodální model architektury mixture of experts s celkem 1,05 bilionu parametrů a obrazovým enkodérem s 1,6 miliardy parametrů.
17 Celkový počet parametrů ale není totéž co počet aktivních parametrů při každém výpočtu: popis modelu na Hugging Face uvádí 49 miliard aktivních parametrů na token, případně 52 miliard po započtení embeddingů a výstupní vrstvy.
20
Mistral při představení veřejného náhledu uvedl, že model trénoval na 3 800 grafických procesorech Nvidia Grace Blackwell ve vlastních evropských datových centrech.
6 Verze po vydání podle dostupných zpráv nabízí tři úrovně uvažování: nízkou, střední a vysokou.
34
Otevřené váhy neznamenají automaticky standardní licenci MIT
Váhy jsou dostupné přes Hugging Face a jejich licence se jmenuje Mistral Ecosystem Open-Weight License. Její text ji označuje za upravenou verzi licence MIT.
18
32 Označení „otevřené váhy“ tedy samo o sobě neznamená, že se na každou formu dalšího šíření nebo provozování modelu vztahují běžné podmínky standardní MIT licence. Týmy, které chtějí na modelu postavit komerční službu, by si měly prostudovat znění licence a ověřit, jaké podmínky platí právě pro jejich způsob použití.
32
36
Zveřejnění vah umožňuje získat model přímo, místo spoléhání výhradně na přístup přes API poskytovatele. Může tak otevřít cestu k vlastnímu hostování nebo úpravám modelu. Samotné zveřejnění ale neříká, jakou infrastrukturu bude konkrétní nasazení vyžadovat.
Kyberbezpečnostní výsledky nejsou zárukou bezpečnosti
Zprávy o vydání uvádějí skóre 51 % v Artificial Analysis Cyber Indexu a průměrnou míru odmítnutí 96,6 % u škodlivých kybernetických požadavků.
31
33 Jde o výsledky testování, nikoli o záruku, že model odmítne každý škodlivý požadavek nebo že zveřejnění jeho vah nepřináší žádné riziko zneužití.
Schopnost pomáhat s obrannou kyberbezpečností a odolnost vůči škodlivým zadáním jsou dvě různé věci. Uvedené výsledky je proto potřeba posuzovat spolu s podrobnostmi testů a s tím, jak bude model v praxi nasazen. Samy o sobě nerozhodují o rizicích široce dostupného modelu.
Co vydání ukazuje — a co zatím ne
Large 4 přidává na trh další evropský model s otevřenými vahami vedle modelů s otevřeným i uzavřeným přístupem od firem z jiných regionů. Mistral zdůrazňuje evropskou infrastrukturu použitou při trénování a výsledky ve srovnání s dalšími modely s otevřenými vahami.
6
15
18 Pro uživatele je podstatná hlavně možnost získat a nasadit samotné váhy; původ modelu sám o sobě není měřítkem jeho kvality.
Nejpřesvědčivější závěr je užší: Mistral uvádí výrazné zlepšení v jednom benchmarku pro práci s terminálem a konkurenceschopné skóre v testu programovacích agentů, při nižší spotřebě tokenů v jednom srovnání. To může být důvod Large 4 vyzkoušet na vlastních úlohách. Z dostupných výsledků ale nelze vyvozovat všeobecnou převahu, nezávisle potvrdit každé tvrzení o kyberbezpečnosti ani pominout licenci a rizika nasazení.