Mistral udostępnił otwarte wagi modelu Mistral Large 4, znanego pod przydomkiem „Le Chonk”, 29 października. Publiczny podgląd modelu firma pokazała 6 października. Nowa wersja ma być mocniejszą opcją do programowania i zastosowań z zakresu cyberbezpieczeństwa. Podawane wyniki są warte uwagi, ale dotyczą konkretnych testów — nie dowodzą, że model będzie najlepszy w każdym zadaniu.
4
7
9
18
Co zmieniło się od czasu podglądu?
Według Mistral dodatkowy trening ze wzmocnieniem podniósł wynik Large 4 w teście Terminal-Bench 4.0 z 28% w wersji podglądowej do 41% w wydanej wersji. To wzrost o 13 punktów procentowych.
21
31 W zestawieniu Artificial Analysis Coding Agent Index model uzyskał 48% — tyle samo co GLM-5.3. W tym porównaniu miał też zużywać o 47% mniej tokenów na zadanie.
31
35
To wyniki z określonych ewaluacji, a nie miara skuteczności w każdym rodzaju pracy programistycznej. Mniejsze zużycie tokenów samo w sobie nie przesądza też o niższych całkowitych kosztach działania. Dostępne doniesienia nie przedstawiają potwierdzonego, bezpośredniego porównania liczbowego z Mythos 5.1 firmy Anthropic.
Model multimodalny z bilionem parametrów
Dokumentacja Mistral opisuje Large 4 jako multimodalny model typu mixture of experts, mający 1,05 bln parametrów oraz enkoder obrazu o wielkości 1,6 mld parametrów.
17 Warto doprecyzować, że nie wszystkie parametry są aktywne przy każdym tokenie: opis modelu na Hugging Face podaje 49 mld aktywnych parametrów na token, a 52 mld po uwzględnieniu warstwy wyjściowej i embeddingów.
20
W zapowiedzi modelu Mistral informował, że do jego treningu wykorzystano 3800 układów Nvidia Grace Blackwell w europejskich centrach danych firmy.
6 Wersja udostępniona użytkownikom oferuje trzy ustawienia poziomu rozumowania: niski, średni i wysoki.
34
Otwarte wagi, ale nie bezwarunkowo otwarta licencja
Wagi są dostępne za pośrednictwem Hugging Face. Opublikowana licencja nosi nazwę Mistral Ecosystem Open-Weight License, a jej treść określa ją jako zmodyfikowaną wersję licencji MIT.
18
32 Określenie „otwarte wagi” nie oznacza więc automatycznie, że każdy sposób dalszego udostępniania modelu lub oferowania do niego dostępu podlega standardowym warunkom MIT. Firmy planujące komercyjną usługę powinny zapoznać się z samą licencją i sprawdzić, które zapisy dotyczą ich zastosowania.
32
36
Udostępnienie wag oznacza, że zespoły mogą pobrać model, zamiast korzystać wyłącznie z dostępu przez API dostawcy. Może to umożliwić samodzielne uruchomienie modelu lub jego modyfikację. Sama premiera nie określa jednak, jakiej infrastruktury będzie wymagać konkretne wdrożenie.
Deklaracje o cyberbezpieczeństwie wymagają kontekstu
Relacje z premiery podają wynik 51% w Artificial Analysis Cyber Index oraz średni wskaźnik odmów na poziomie 96,6% w odpowiedzi na złośliwe prośby związane z cyberbezpieczeństwem.
31
33 Są to wyniki określonych testów, a nie gwarancja, że model odmówi każdej szkodliwej prośbie albo że udostępnienie jego wag nie niesie ryzyka nadużyć.
Ocena możliwości wspierania obrony cyfrowej i odporność na złośliwe polecenia to dwie różne kwestie. Wyniki należy rozpatrywać wraz ze szczegółami testów i potrzebami konkretnego wdrożenia — same w sobie nie rozstrzygają, jakie ryzyko wiąże się z szeroką dostępnością modelu.
Co ta premiera oznacza — a czego nie dowodzi
Large 4 to kolejna opracowana w Europie opcja z otwartymi wagami na rynku, na którym dostępne są zarówno otwarte, jak i zamknięte modele z innych regionów. Mistral podkreśla europejską infrastrukturę treningową i wyniki modelu na tle konkurencji z otwartymi wagami.
6
15
18 Dla użytkowników istotna jest przede wszystkim możliwość pobrania i uruchomienia wag, a nie ogólna ocena jakości modelu oparta na kraju jego pochodzenia.
Najmocniejszy wniosek, jaki można wyciągnąć z dostępnych informacji, jest bardziej ograniczony: Mistral raportuje wyraźną poprawę wyników w testach programistycznych między podglądem a wydaniem oraz konkurencyjny wynik w teście agentów kodujących przy mniejszym zużyciu tokenów w jednym porównaniu. To wystarczający powód, by sprawdzić Large 4 na własnych zadaniach. Nie dowodzi jednak ogólnej przewagi nad konkurencją, nie potwierdza niezależnie wszystkich deklaracji o cyberbezpieczeństwie i nie zwalnia z oceny warunków licencji ani ryzyka wdrożenia.