AnswersPublished19 sources
Qwen3.8-2.4T-A95B: il modello da 2.400 miliardi di parametri che non rende semplice il self-hosting
Qwen3.8 2.4T A95B è il modello testuale open weight della fascia Qwen Max di Alibaba: ha 2.400 miliardi di parametri totali, ma ne attiva circa 95 miliardi per token. Il contesto nativo è di 262.144 token; alcune configurazioni di serving documentate arrivano a un milione.
Pubblicato daModificato con GPT-5.6 TerraImmagini generate con GPT Image 2
Research answer
Key takeaways
- Qwen3.8 2.4T A95B è il modello testuale open weight della fascia Qwen Max di Alibaba: ha 2.400 miliardi di parametri totali, ma ne attiva circa 95 miliardi per token.
- Il contesto nativo è di 262.144 token; alcune configurazioni di serving documentate arrivano a un milione.
- I pesi aperti aumentano controllo e possibilità di personalizzazione, ma non trasformano il modello in una soluzione per PC o per un normale singolo server.
- Il checkpoint usa una licenza Qwen3.8 Max personalizzata. La versione cloud Qwen3.8 Max aggiunge invece visione, modalità senza ragionamento e strumenti integrati.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Qwen3.8-2.4T-A95B, and what do its open-weight release, Qwen-Max-class status, 2.4-trillion-parameter/95-billion-active-pa. Article summary: Alibaba’s Qwen3.8-2.4T-A95B is an open-weight, text-generation release of its Qwen3.8-Max/“Max-class” flagship: a very large sparse Mixture-of-Experts (MoE) model rather than a model that can realistically be run like an. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Qwen3.8-2.4T-A95B è il rilascio a pesi aperti associato alla fascia di punta Qwen3.8-Max di Alibaba. Il punto non è che un modello da 2.400 miliardi di parametri sia diventato facile da eseguire in proprio: è che organizzazioni con risorse adeguate possono ottenerne i pesi, adattarli e distribuirli senza dipendere esclusivamente da un’API gestita. Per questo interessa soprattutto cloud provider, grandi imprese, contesti regolamentati e gruppi di ricerca con solide capacità di inferenza distribuita. 1
18
21
I numeri chiave: 2.400 miliardi totali, 95 miliardi attivi
Qwen3.8-2.4T-A95B è un modello generativo testuale sparse Mixture-of-Experts (MoE): conta 2.400 miliardi di parametri totali, ma ne attiva all’incirca 95 miliardi per ogni token. La documentazione NVIDIA indica 92 layer, 512 esperti instradati e un meccanismo di routing top-10. 18
21
La differenza è sostanziale. In un’architettura MoE non tutti i parametri vengono calcolati per ciascun token; questo può ridurre il costo computazionale rispetto a un modello denso di dimensioni equivalenti. Non elimina però il problema di dover memorizzare o distribuire i pesi, gestire il parallelismo degli esperti, usare interconnessioni veloci e riservare memoria alla cache KV.
L’architettura combina Gated DeltaNet e componenti di gated attention. È concepita anche per il lavoro testuale su contesti lunghi, ma la misura che conta in produzione resta quella end-to-end: lunghezza dei prompt, concorrenza, precisione numerica e stack di serving cambiano radicalmente costi e prestazioni. 1
19
Contesto fino a un milione di token: capacità, non promessa di economicità
La finestra di contesto nativa è di 262.144 token. NVIDIA documenta configurazioni capaci di arrivare a un milione di token, mentre l’output massimo indicato è di circa 131.000 token. 1
19
21
Non significa che ogni richiesta da un milione di token sarà rapida, economica o affidabile allo stesso modo. Prompt più lunghi aumentano il lavoro di prefill — l’elaborazione iniziale dell’input — e la pressione sulla cache KV, che conserva informazioni utili alla generazione successiva. Chi vuole analizzare archivi documentali, usare retrieval su grandi collezioni o sostenere tracce lunghe di agenti dovrebbe misurare il sistema sulle effettive lunghezze di input e sui livelli di concorrenza previsti.
Ragionamento, coding e agenti: il modello è solo una parte del prodotto
Il modello supporta il parametro reasoning_effort con livelli low, medium e xhigh, pensati per modulare il compromesso fra velocità, costo e profondità del ragionamento. Le impostazioni pubblicate privilegiano la conservazione del contenuto di ragionamento. 1
Questo lo rende un candidato plausibile per coding, sintesi di ricerca, analisi di documenti estesi e flussi agentici basati sul testo. Ma un agente affidabile non coincide con un LLM potente: servono definizioni degli strumenti lato applicazione, autorizzazioni, isolamento dell’esecuzione, retry, osservabilità e valutazioni sistematiche.
Il checkpoint aperto ha anche limiti netti: è solo testuale e, secondo le informazioni sul rilascio, non consente di disattivare il ragionamento. Le aziende che richiedono input di immagini o video, un percorso non-reasoning a bassa latenza o strumenti integrati gestiti devono distinguere il checkpoint scaricabile dal servizio Qwen3.8-Max in hosting. 3
8
21
Pesi aperti: più controllo, non meno complessità operativa
Avere i pesi può offrire maggiore controllo sulla localizzazione dei dati, sulla topologia di distribuzione, sulla personalizzazione e sul post-training rispetto a un modello accessibile solo via API. NVIDIA NeMo AutoModel include un percorso di fine-tuning completo con FSDP2, parallelismo degli esperti e parallelismo di pipeline. È una possibilità concreta per chi deve adattare il modello, ma richiede un ambiente altamente specializzato. 18
La soglia operativa rimane molto alta. La documentazione NIM di NVIDIA descrive un percorso supportato esclusivamente su GB300-NVL72, con almeno quattro nodi e Kubernetes. Le ricette Dynamo usano vLLM o SGLang, pesi e cache KV in FP8, parallelismo tensoriale e routing consapevole della cache KV; una configurazione documentata impiega 16 GPU GB300 su quattro nodi. 19
21
Non sono requisiti minimi universali, bensì configurazioni supportate dal fornitore. Illustrano però bene la classe di infrastruttura per cui è pensato il modello: non un portatile, non una workstation e, in generale, neppure un normale server singolo.
Le scelte di serving che incidono davvero
Per un modello di questa scala, l’architettura dell’infrastruttura può stabilire se il servizio sia utilizzabile oppure no.
- Quantizzazione: formati a precisione ridotta diminuiscono la memoria necessaria per l’inferenza, ma qualità e stabilità vanno convalidate sui casi d’uso reali. AWS cita FP8, MXFP4 e NVFP4 fra i formati utili a ridurre l’occupazione di memoria.
- Prefill e decode disaggregati: l’ingestione del prompt e la generazione token per token hanno colli di bottiglia differenti. Separarli su pool di GPU dedicati può ridurre le interferenze e migliorare la latenza dei token nei carichi adatti.
- Decodifica speculativa: un meccanismo più economico propone token candidati, poi il modello principale li verifica. Quando le proposte vengono accettate, si riduce il lavoro seriale della generazione.
- Serving distribuito: le ricette NVIDIA associano Qwen a vLLM o SGLang e combinano routing KV-aware, FP8 e parallelismo multinodo su sistemi GB200 o GB300.
19
NVIDIA ha riportato oltre 4.000 token al secondo per GPU e più di 350 token al secondo per utente in una configurazione Day-0 FP8 su GB300 NVL72. Sono dati del fornitore, ottenuti su hardware e software specifici: non vanno letti come prestazioni garantite per ogni carico di produzione.
Licenza: open-weight non vuol dire licenza permissiva
Il modello è distribuito con la Qwen3.8-Max License, una licenza personalizzata e non Apache-2.0 o MIT. Il testo concede ampi diritti di utilizzo, modifica, distribuzione, hosting, fine-tuning e creazione di opere derivate, a determinate condizioni.
Le sintesi della licenza riportano obblighi aggiuntivi per alcune attività Model-as-a-Service e di assistenti di lavoro basati sull’IA oltre una soglia di fatturato indicata. Poiché queste clausole possono incidere sull’uso commerciale e sulla redistribuzione a valle, prima di lanciare un prodotto basato sui pesi è opportuno esaminare la licenza aggiornata con il proprio consulente legale. 3
10
Qwen3.8-Max gestito o A95B in proprio?
Il prodotto in hosting Qwen3.8-Max viene presentato come la versione ufficiale basata su A95B, ma con funzionalità ulteriori: input visivo, supporto alla modalità senza ragionamento, contesto di un milione di token per impostazione predefinita e strumenti ufficiali integrati. 8
12
La scelta pratica è quindi abbastanza chiara:
- scegliere l’accesso gestito quando contano di più scalabilità amministrata, multimodalità, strumenti integrati e semplicità operativa;
- valutare l’hosting autonomo di A95B quando sovranità dei dati, comportamento di serving personalizzato, fine-tuning o utilizzo elevato e continuativo giustificano l’investimento operativo.
Il checkpoint aperto non è dunque un sostituto funzione per funzione del prodotto gestito. È una potente base testuale, alla quale l’organizzazione deve aggiungere infrastruttura, integrazioni e livelli di prodotto.
Benchmark: segnali utili, non una decisione automatica
Qwen posiziona A95B nella classe Max e i materiali di rilascio riportano risultati solidi in benchmark legati a coding, ricerca e ragionamento. Sono segnali da considerare, non la prova che sia il modello migliore per ogni compito o ambiente di distribuzione. 6
La scelta dovrebbe passare da una valutazione concreta: lingue d’interesse, sequenze di strumenti, profondità del retrieval, formato degli output, requisiti di sicurezza, obiettivi di latenza e budget. Per la maggior parte dei team, la domanda centrale non è se 95 miliardi di parametri attivi siano impressionanti. È se il guadagno di capacità compensi davvero costo e complessità di un sistema da 2.400 miliardi di parametri.
In sintesi
Qwen3.8-2.4T-A95B è un rilascio rilevante perché rende disponibile un modello testuale Qwen-Max-class a 2.400 miliardi di parametri per chi necessita di controllo sui pesi e sulla distribuzione. L’architettura sparsa migliora l’economia del calcolo rispetto a un modello denso comparabile, ma il progetto resta, a tutti gli effetti, un esercizio di sistemi distribuiti.
Per team molto attrezzati può essere una strada verso inferenza testuale di fascia alta, personalizzabile e sotto controllo diretto. Per chi cerca invece un deployment locale semplice, un modello più piccolo o un endpoint gestito sarà nella maggior parte dei casi una scelta più realistica. 18
19
21
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Qwen3.8-2.4T-A95B: il modello da 2.400 miliardi di parametri che non rende semplice il self-hosting"?
Qwen3.8 2.4T A95B è il modello testuale open weight della fascia Qwen Max di Alibaba: ha 2.400 miliardi di parametri totali, ma ne attiva circa 95 miliardi per token.
What are the key points to validate first?
Qwen3.8 2.4T A95B è il modello testuale open weight della fascia Qwen Max di Alibaba: ha 2.400 miliardi di parametri totali, ma ne attiva circa 95 miliardi per token. Il contesto nativo è di 262.144 token; alcune configurazioni di serving documentate arrivano a un milione.
What should I do next in practice?
I pesi aperti aumentano controllo e possibilità di personalizzazione, ma non trasformano il modello in una soluzione per PC o per un normale singolo server.