AnswersPublished19 sources
Qwen3.8-2.4T-A95B: öppen viktmodell, men långt från enkel att köra själv
Qwen3.8 2.4T A95B är en öppen viktmodell i Qwen Max klassen för textgenerering, med 2,4 biljoner parametrar totalt och omkring 95 miljarder aktiva parametrar per token. Modellen har ett inbyggt kontextfönster på 262 144 token.
Publicerad avRedigerad med GPT-5.6 TerraBilder genererade med GPT Image 2
Research answer
Key takeaways
- Qwen3.8 2.4T A95B är en öppen viktmodell i Qwen Max klassen för textgenerering, med 2,4 biljoner parametrar totalt och omkring 95 miljarder aktiva parametrar per token.
- Modellen har ett inbyggt kontextfönster på 262 144 token. Konfigurationer för upp till en miljon token finns dokumenterade, men långa indata driver både kostnad, minnesbehov och svarstid.
- Öppna vikter ger större kontroll över data, drift och finjustering, men licensen är den egna Qwen3.8 Max License – inte Apache 2.0 eller MIT.
- NVIDIAs referenskonfigurationer visar vilken skala som avses: distribuerad inferens med Kubernetes, FP8, vLLM eller SGLang och flera noder.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Qwen3.8-2.4T-A95B, and what do its open-weight release, Qwen-Max-class status, 2.4-trillion-parameter/95-billion-active-pa. Article summary: Alibaba’s Qwen3.8-2.4T-A95B is an open-weight, text-generation release of its Qwen3.8-Max/“Max-class” flagship: a very large sparse Mixture-of-Experts (MoE) model rather than a model that can realistically be run like an. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Qwen3.8-2.4T-A95B är Alibabas öppna viktmodell i den högsta Qwen3.8-Max-klassen. Det viktiga är inte att en modell med 2,4 biljoner parametrar plötsligt blivit enkel att köra själv. Det viktiga är att organisationer nu kan hämta, köra och anpassa vikterna, i stället för att enbart använda en hanterad API-tjänst.
I praktiken riktar den sig främst till molnleverantörer, stora företag, verksamheter med höga krav på datahantering och forskargrupper med kapacitet för distribuerad inferens. 1
18
21
Kort om modellen
Qwen3.8-2.4T-A95B är en sparsam Mixture-of-Experts-modell (MoE) för textgenerering. Den har 2,4 biljoner parametrar totalt, men använder ungefär 95 miljarder aktiva parametrar per token. NVIDIAs dokumentation anger 92 lager, 512 routade experter och att de tio mest relevanta experterna väljs per token. 18
21
Skillnaden mellan totala och aktiva parametrar är central. MoE innebär att modellen inte räknar på alla parametrar för varje token, vilket kan sänka beräkningskostnaden jämfört med en lika stor tät modell. Men alla vikter måste fortfarande lagras eller delas upp över systemet. Expertparallellism, nätverk och KV-cache – det minne som behövs för att hålla reda på tidigare token – är fortsatt mycket resurskrävande.
Arkitekturen kombinerar Gated DeltaNet med gated attention. Den är byggd för lång textkontext, men faktisk prestanda måste testas för den egna kombinationen av promptlängd, samtidiga användare, precision och servermjukvara. 1
19
Mycket lång kontext – men inte utan pris
Modellens inbyggda kontextfönster är 262 144 token. NVIDIA dokumenterar driftsättningar med ett fönster på en miljon token, och den angivna maximala utmatningen är omkring 131 000 token. 1
19
21
Det är kapacitetsgränser, inte löften om att varje miljontokenfråga blir snabb, billig eller lika tillförlitlig. Långa prompter ökar arbetet i inläsningsfasen och pressar KV-cachen. Den som vill analysera stora dokumentmängder, köra omfattande RAG-sökning eller långa agentkedjor bör testa just de indata- och samtidighetsnivåer som den egna tjänsten kräver.
Resonemang och agentflöden
Modellen har inställningen reasoning_effort med nivåerna low, medium och xhigh. Syftet är att väga svarshastighet och kostnad mot mer omfattande resonemang. Standardinställningarna prioriterar att bevara modellens tankeinnehåll. 1
Det gör modellen relevant för exempelvis programmering, forskningssammanställningar, analys av långa dokument och textbaserade agentflöden. Men en produktionsagent består av mer än språkmodellen: verktygsdefinitioner, behörighetsgränser, isolerad exekvering, återförsök, loggning och utvärdering måste byggas runt den.
Den öppna kontrollpunkten är dessutom endast för text, och rapporteringen om releasen uppger att tänkeläget inte kan stängas av. Organisationer som behöver bild- eller videoinmatning, en snabb väg utan resonemang eller färdiga hanterade verktyg bör skilja den nedladdningsbara modellen från den molnbaserade Qwen3.8-Max-tjänsten. 3
8
21
Öppna vikter ger kontroll, inte enkel drift
Öppna vikter kan ge större kontroll över var data behandlas, hur lösningen distribueras och hur modellen eftertränas. NVIDIA NeMo AutoModel har stöd för fullparameterfinjustering med FSDP2, expertparallellism och pipelineparallellism – en specialiserad väg för organisationer som vill anpassa modellen. 18
Men tröskeln för drift är hög. NVIDIAs NIM-dokumentation anger en distributionsväg enbart för GB300-NVL72, med minst fyra noder och Kubernetes. Dynamo-recepten använder vLLM eller SGLang, FP8-vikter och KV-cache, tensorparallellism och KV-medveten routning. En dokumenterad konfiguration använder 16 GB300-GPU:er över fyra noder. 19
21
Detta är leverantörernas validerade referensrecept, inte universella minimikrav. Men de visar tydligt den avsedda driftmiljön: modellen hör normalt inte hemma på en laptop, en arbetsstation eller en ordinär enskild server.
Teknikval som avgör om tjänsten fungerar
För en modell i den här storleksklassen kan infrastrukturvalen avgöra användbarheten:
- Kvantisering: Lägre precision kan minska minnesbehovet, men kvalitet och stabilitet måste valideras på de egna uppgifterna. AWS lyfter bland annat FP8, MXFP4 och NVFP4 som format för att minska minneskraven vid inferens.
- Separering av prefill och decode: Att läsa in prompten och att generera token steg för steg har olika flaskhalsar. AWS beskriver hur de kan delas upp på separata GPU-pooler för att minska störningar och förbättra tokenlatens i lämpliga arbetslaster.
- Spekulativ avkodning: En billigare utkastsmekanism föreslår token som huvudmodellen sedan verifierar. När många förslag godtas kan den seriella avkodningen minska.
- Distribuerad servering: NVIDIAs recept kombinerar modellen med vLLM eller SGLang, KV-medveten routning, FP8 och parallellism över flera noder på GB200- eller GB300-system.
19
NVIDIA rapporterade över 4 000 token per sekund och GPU samt över 350 token per sekund och användare i en FP8-konfiguration för GB300 NVL72. Det är leverantörsmätningar från en specifik hård- och mjukvarumiljö, inte generella produktionsvärden.
Licensen: öppna vikter är inte samma sak som en fri licens
Modellen distribueras under den egna Qwen3.8-Max License, inte under Apache-2.0 eller MIT. Licensen ger breda rättigheter att använda, ändra, distribuera, hosta, finjustera och skapa derivat, men rättigheterna är villkorade.
Sammanfattningar av releasen beskriver ytterligare skyldigheter för vissa verksamheter inom Model as a Service och AI-assistenter över en angiven omsättningsgräns. Eftersom villkoren kan påverka både kommersiell drift och vidare distribution bör företag läsa den aktuella licenstexten och ta juridisk rådgivning före lansering. 3
10
Molntjänsten Qwen3.8-Max eller egen drift?
Den hostade Qwen3.8-Max beskrivs som en officiell version baserad på A95B, men med fler funktioner: bildinmatning, stöd för läge utan resonemang, en miljon token som standard och officiella inbyggda verktyg. 8
12
Det ger en praktisk uppdelning:
- Välj hostad åtkomst när hanterad skalning, multimodalitet, integrerade verktyg och enklare drift väger tyngre än full kontroll över infrastrukturen.
- Överväg egen drift av A95B när datakontroll, särskild serverlogik, finjustering eller långvarigt hög nyttjande motiverar den operativa kostnaden.
Den öppna kontrollpunkten är alltså inte en funktion-för-funktion-ersättare för den hanterade tjänsten. Den är en kraftfull textmotor, men organisationen måste själv tillhandahålla produktlagret och infrastrukturen runt den.
Benchmarkresultat är startpunkten, inte beslutet
Qwen placerar A95B i Max-klassen och releasematerialet redovisar starka resultat inom kodning, forskning och resonemangsinriktade benchmarktester. Det är användbara signaler, men inte bevis för att modellen är bäst för varje uppgift eller driftmiljö. 6
Rätt beslut kräver egen utvärdering: testa målgruppens språk, verktygskedjor, söklängder, svarsformat, säkerhetskrav, latensmål och kostnadsramar. Den avgörande frågan är sällan om 95 miljarder aktiva parametrar är imponerande, utan om kapacitetsvinsten motiverar kostnaden och komplexiteten i att driva en modell med 2,4 biljoner parametrar.
Slutsats
Qwen3.8-2.4T-A95B är en betydelsefull öppen viktmodell eftersom den gör en Qwen-Max-modell för text tillgänglig för organisationer som vill styra vikter och driftsättning själva. Den sparsamma MoE-arkitekturen förbättrar beräkningsekonomin jämfört med en lika stor tät modell, men den är fortfarande ett avancerat distribuerat systemprojekt.
För välfinansierade team kan den ge en väg till anpassningsbar, datakontrollerad och toppklassig textinferens. För mindre team som söker okomplicerad lokal körning är en mindre modell eller en hanterad tjänst oftast ett mer realistiskt val. 18
19
21
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Qwen3.8-2.4T-A95B: öppen viktmodell, men långt från enkel att köra själv"?
Qwen3.8 2.4T A95B är en öppen viktmodell i Qwen Max klassen för textgenerering, med 2,4 biljoner parametrar totalt och omkring 95 miljarder aktiva parametrar per token.
What are the key points to validate first?
Qwen3.8 2.4T A95B är en öppen viktmodell i Qwen Max klassen för textgenerering, med 2,4 biljoner parametrar totalt och omkring 95 miljarder aktiva parametrar per token. Modellen har ett inbyggt kontextfönster på 262 144 token. Konfigurationer för upp till en miljon token finns dokumenterade, men långa indata driver både kostnad, minnesbehov och svarstid.
What should I do next in practice?
Öppna vikter ger större kontroll över data, drift och finjustering, men licensen är den egna Qwen3.8 Max License – inte Apache 2.0 eller MIT.