AnswersPublished13 sources
Jetson AGX Thor e Orin: l’AI agentica può girare in locale
NVIDIA indica Nemotron 3.5 Lightning e Qwen3.8 27B come modelli adatti a Jetson AGX Orin e AGX Thor, servibili localmente con vLLM. Su Jetson AGX Thor, la combinazione di quantizzazione NVFP4 e speculative decoding ha prodotto fino a 6,28× il throughput di decodifica rispetto a BF16 nel benchmark NVIDIA.
Pubblicato daModificato con GPT-5.6 TerraImmagini generate con GPT Image 2
Research answer
Key takeaways
- NVIDIA indica Nemotron 3.5 Lightning e Qwen3.8 27B come modelli adatti a Jetson AGX Orin e AGX Thor, servibili localmente con vLLM.
- Su Jetson AGX Thor, la combinazione di quantizzazione NVFP4 e speculative decoding ha prodotto fino a 6,28× il throughput di decodifica rispetto a BF16 nel benchmark NVIDIA.
- L’inferenza locale può ridurre la dipendenza dalla connettività per robot, assistenti di bordo e sistemi industriali, ma la scelta finale va verificata sul carico di lavoro reale.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does NVIDIA’s September 4 developer guide show that Jetson AGX Thor and AGX Orin modules can run compact reasoning and agentic AI models. Article summary: NVIDIA’s September 4 guide argues that recent compact open models, combined with Jetson-optimized serving and decoding techniques, make multi-step reasoning and agent loops practical on-device rather than requiring a rou. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
L’AI capace di ragionare in più passaggi, finora, ha spesso richiesto un compromesso: modelli abbastanza piccoli da stare su un dispositivo embedded, oppure tempi di risposta e capacità più elevati ottenuti attraverso un data center. La guida NVIDIA pubblicata il 4 settembre sostiene che questo equilibrio stia cambiando.
Su Jetson AGX Orin e Jetson AGX Thor è possibile eseguire in locale modelli aperti di ragionamento e AI agentica, cioè sistemi che non si limitano a generare testo ma possono seguire una sequenza operativa: interpretare un evento, usare uno strumento autorizzato, valutarne l’esito e decidere se proseguire o segnalare un’eccezione. NVIDIA cita in particolare Nemotron 3.5 Lightning e Qwen3.8-27B. 1
Il dato più rilevante riguarda AGX Thor: combinando la quantizzazione NVFP4 con lo speculative decoding, NVIDIA riporta un miglioramento massimo del throughput di decodifica pari a 6,28× rispetto a BF16. È un risultato legato a specifici modelli e configurazioni di test, non una garanzia universale di token al secondo. 1
La ricetta: serving locale, precisione ridotta e decodifica più efficiente
La guida propone di servire i modelli con vLLM su Jetson e di combinare due ottimizzazioni complementari. 1
NVFP4: meno memoria e meno lavoro per l’inferenza
NVFP4 usa una rappresentazione in virgola mobile a 4 bit per ridurre il lavoro di calcolo e la memoria necessaria alle operazioni del modello. Nell’inferenza embedded non conta soltanto la potenza di calcolo: è decisiva anche la rapidità con cui pesi e attivazioni possono essere spostati in memoria durante la generazione. 1
Jetson AGX Thor è particolarmente adatto a questo approccio: la GPU Blackwell integra, secondo NVIDIA, il supporto nativo a FP4 attraverso il Transformer Engine. 3
Speculative decoding: proporre più token, verificarli insieme
Nello speculative decoding, un modello più piccolo — il draft model — propone diversi token successivi. Il modello principale li verifica in blocco e resta quello che prende la decisione finale. Se più token vengono accettati, la generazione avanza di più token in un singolo passaggio di verifica invece di procedere uno alla volta. 1
Il vantaggio dipende dalla percentuale di token proposti che il modello principale accetta. Di conseguenza, prompt, modello, lunghezza del contesto e configurazione di decoding incidono sensibilmente sulle prestazioni reali. È un’ottimizzazione del carico di lavoro, non un moltiplicatore fisso.
Nemotron 3.5 Lightning e Qwen3.8-27B: due compromessi diversi
La scelta non va fatta guardando solo al numero totale di parametri, ma al tipo di decisioni che il sistema dovrà prendere e alla frequenza delle risposte.
Nemotron 3.5 Lightning: architettura MoE per agenti sempre attivi
Nemotron 3.5 Lightning è un modello mixture-of-experts (MoE) da 30 miliardi di parametri, ma ne attiva soltanto 3 miliardi per token. NVIDIA lo descrive come pensato per il livello esecutivo di agenti di lunga durata e sempre operativi. 2
Questo profilo può risultare utile per flussi con molte risposte: monitoraggio di sensori e registri operativi, esecuzione ripetuta di azioni consentite, controllo dei risultati e gestione delle eccezioni. In questi casi, i parametri effettivamente attivi per token e la velocità di generazione sostenuta possono contare più della capacità complessiva dichiarata.
Qwen3.8-27B: modello denso per decisioni più impegnative
Qwen3.8-27B è invece un modello denso: tutti i 27 miliardi di parametri partecipano all’elaborazione di ciascun token. NVIDIA lo include tra le opzioni valide per Jetson insieme a Nemotron 3.5 Lightning. 1
Può essere un compromesso sensato quando un’applicazione deve prendere meno decisioni, ma attribuisce più valore a ciascuna di esse. Il rovescio della medaglia è che attivare l’intera rete a ogni token può richiedere più risorse di calcolo rispetto a un modello MoE sparso.
In pratica, il modello va scelto e misurato sull’applicazione concreta: lunghezza di prompt e risposte, strumenti chiamati dall’agente, limite di latenza, memoria disponibile e frequenza delle decisioni. 1
Cosa significa davvero il risultato del 6,28× su AGX Thor
NVIDIA riporta un incremento massimo del throughput di decodifica di 6,28× rispetto a BF16 combinando NVFP4 e speculative decoding su Jetson AGX Thor. La configurazione di speculative decoding più efficace è risultata diversa a seconda del modello: DSpark per Nemotron 3.5 Lightning e DFlash2 per Qwen3.8-27B. 1
Il dato è importante perché la decodifica, ovvero la generazione progressiva dell’output, determina spesso quanto un agente sembri pronto a rispondere. Ma non va letto come una promessa valida per qualunque distribuzione: qualità del modello di bozza, tasso di accettazione dei token, batch, contesto e impostazioni runtime cambiano il risultato effettivo. 1
Perché l’inferenza in locale riduce la dipendenza dal cloud
Eseguire il modello sul dispositivo evita che ogni richiesta di ragionamento debba passare da un data center remoto. Per sistemi fisici questo può significare minore latenza legata alla rete, continuità operativa con connettività intermittente e possibilità di mantenere sul dispositivo flussi di sensori e log operativi. NVIDIA presenta l’AI di ragionamento all’edge come utile proprio dove località dei dati e risposta in tempo reale hanno rilievo operativo. 1
Non significa che il cloud scompaia: può continuare a servire per addestramento, gestione di flotte, analisi su larga scala o compiti che superano memoria e potenza disponibili sul dispositivo. Il cambiamento è che il collegamento al data center non deve più stare necessariamente sul percorso critico di ogni decisione.
I casi d’uso più adatti
NVIDIA evidenzia assistenti nell’abitacolo, rilevamento di anomalie in tempo reale e robot destinati ad ambienti difficili o remoti. 1
Sono scenari accomunati da una necessità concreta: comprendere il contesto locale e reagire abbastanza rapidamente da rendere utile la risposta. Rientrano in questo schema, per esempio:
- robot che ragionano sulle osservazioni e sullo stato delle attività;
- impianti industriali che interpretano eventi di macchina o log operativi;
- assistenti per veicoli che devono rispondere durante l’interazione a bordo;
- apparecchiature di ispezione o monitoraggio remoto che non possono presumere una connessione stabile.
I candidati migliori non sono semplicemente i dispositivi in grado di eseguire un LLM, ma quelli per cui tempi di risposta, località dei dati e resilienza offline hanno un valore diretto.
Il ruolo di AGX Thor nella gamma Jetson
Jetson AGX Thor è la piattaforma NVIDIA di fascia alta per i carichi di lavoro più esigenti della cosiddetta AI fisica. L’azienda dichiara una GPU Blackwell, 128 GB di memoria e fino a 2.070 TFLOPS FP4 entro un profilo di consumo di 130 W. 3
Queste caratteristiche sono coerenti con l’attenzione della guida per NVFP4, decodifica ad alto throughput e modelli di ragionamento locali più grandi. AGX Orin resta rilevante per distribuzioni embedded consolidate, mentre Thor mira ai carichi generativi e multimodali più impegnativi.
Alla fascia di ingresso, NVIDIA ha annunciato Jetson Orin Nano 2 per robotica, droni di consegna e ispezione e sistemi di visione artificiale. Modulo e kit per sviluppatori sono attesi nella prima metà del 2027. 1
Ne emerge una strategia a più livelli: sistemi più piccoli per l’edge AI di base, AGX Orin per impieghi embedded maturi e AGX Thor per applicazioni che richiedono più memoria e calcolo per il ragionamento generativo in locale.
In sintesi
La conclusione utile della guida NVIDIA non è che ogni modello di frontiera possa ormai girare senza problemi su qualunque modulo embedded. È più circoscritta: modelli di ragionamento compatti, serving con vLLM, quantizzazione NVFP4 e speculative decoding possono rendere praticabili agenti locali capaci su hardware della famiglia Jetson. 1
Per chi sviluppa il passaggio decisivo resta la prova sul campo: testare modello e dispositivo scelti con prompt, strumenti, finestre di contesto e obiettivi di risposta del prodotto reale. Il 6,28× mostra il potenziale dell’ottimizzazione; sarà il benchmark dell’applicazione a dire se quel potenziale diventa un sistema edge effettivamente utilizzabile. 1
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jetson AGX Thor e Orin: l’AI agentica può girare in locale"?
NVIDIA indica Nemotron 3.5 Lightning e Qwen3.8 27B come modelli adatti a Jetson AGX Orin e AGX Thor, servibili localmente con vLLM.
What are the key points to validate first?
NVIDIA indica Nemotron 3.5 Lightning e Qwen3.8 27B come modelli adatti a Jetson AGX Orin e AGX Thor, servibili localmente con vLLM. Su Jetson AGX Thor, la combinazione di quantizzazione NVFP4 e speculative decoding ha prodotto fino a 6,28× il throughput di decodifica rispetto a BF16 nel benchmark NVIDIA.
What should I do next in practice?
L’inferenza locale può ridurre la dipendenza dalla connettività per robot, assistenti di bordo e sistemi industriali, ma la scelta finale va verificata sul carico di lavoro reale.
Sources
developer.nvidia.comFrontier Reasoning Reaches the Edge: How to Deploy and Optimize ...