AnswersPublished13 sources
NVIDIA Jetson: Lokal ræsonnerende AI får fart på med Thor og Orin
NVIDIA peger på Nemotron 3.5 Lightning og Qwen3.8 27B som modeller, der kan afvikles lokalt på Jetson AGX Orin og AGX Thor via vLLM. På Jetson AGX Thor rapporterer NVIDIA op til 6,28 gange højere dekodningsgennemløb end BF16, når NVFP4 kombineres med spekulativ dekodning.
Udgivet afRedigeret med GPT-5.6 TerraBilleder genereret med GPT Image 2
Research answer
Key takeaways
- NVIDIA peger på Nemotron 3.5 Lightning og Qwen3.8 27B som modeller, der kan afvikles lokalt på Jetson AGX Orin og AGX Thor via vLLM.
- På Jetson AGX Thor rapporterer NVIDIA op til 6,28 gange højere dekodningsgennemløb end BF16, når NVFP4 kombineres med spekulativ dekodning.
- Lokal inferens kan mindske afhængigheden af netforbindelse i robotter, køretøjer og industrisystemer, men den konkrete løsning skal benchmarkes på den reelle arbejdsgang.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does NVIDIA’s September 4 developer guide show that Jetson AGX Thor and AGX Orin modules can run compact reasoning and agentic AI models. Article summary: NVIDIA’s September 4 guide argues that recent compact open models, combined with Jetson-optimized serving and decoding techniques, make multi-step reasoning and agent loops practical on-device rather than requiring a rou. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Det har længe været et kompromis at få AI-modeller med flertrinsræsonnering til at køre på indlejret hardware: Enten måtte modellen skæres ned, eller også blev svartiden for lang. NVIDIAs udviklerguide fra 4. september peger på, at balancen er ved at ændre sig. Med åbne, optimerede modeller, inferens ved lav præcision og hurtigere dekodning kan ræsonnerende og agentbaseret AI køre direkte på Jetson AGX Orin og Jetson AGX Thor. 1
Det mest opsigtsvækkende tal er op til 6,28 gange højere dekodningsgennemløb end BF16 på Jetson AGX Thor, når NVFP4-kvantisering kombineres med spekulativ dekodning. Det er et benchmark for bestemte modeller og arbejdslaster – ikke et generelt løfte om et bestemt antal tokens i sekundet – men det illustrerer, hvorfor lokale AI-agenter bliver mere realistiske i robotter, køretøjer og industrielt udstyr. 1
Opskriften: Lokal modelserver, lavere præcision og smartere dekodning
NVIDIA fremhæver Nemotron 3.5 Lightning og Qwen3.8-27B som relevante modeller til Jetson AGX Orin og Jetson AGX Thor. De kan serviceres lokalt med vLLM, mens to komplementære teknikker skal løfte inferenseffektiviteten. 1
NVFP4 mindsker belastningen på hukommelsen
NVFP4 benytter 4-bit-flydende tal til at reducere både beregningerne og hukommelsesforbruget i modeloperationerne. Det er væsentligt på indlejrede systemer, hvor flaskehalsen ofte ikke alene er regnekraften, men også hvor hurtigt modelvægte og aktiveringer kan flyttes under tekstgenereringen. 1
Jetson Thor er særligt indrettet til denne tilgang. Ifølge NVIDIA har platformens Blackwell-GPU indbygget FP4-understøttelse gennem Transformer Engine. 3
Spekulativ dekodning: Forslag først, kontrol bagefter
Ved spekulativ dekodning foreslår en mindre kladdemodel flere mulige næste tokens. Hovedmodellen kontrollerer dem samlet og træffer fortsat den endelige afgørelse. Accepteres flere forslag, kan genereringen rykke frem med flere tokens i ét kontroltrin frem for ét token ad gangen. 1
Gevinsten afhænger af, hvor ofte forslagene godkendes. Derfor varierer den med model, prompt og dekodningsopsætning. Det er en optimering, der skal måles på den konkrete arbejdslast – ikke en fast hastighedsfaktor.
To modeller, to kompromiser
Nemotron 3.5 Lightning: Stor kapacitet, få aktive parametre
Nemotron 3.5 Lightning er en mixture-of-experts-model (MoE) med 30 milliarder parametre, men kun 3 milliarder parametre aktiveres pr. token. NVIDIA beskriver modellen som egnet til eksekveringslaget i langvarige, altid aktive AI-agenter. 2
Det kan være en fordel, når en agent ofte skal reagere i et driftsloop: fortolke en hændelse, kalde et godkendt værktøj, vurdere resultatet og afgøre, om opgaven skal fortsætte eller eskaleres. Her betyder antallet af aktive parametre pr. token og stabil genereringshastighed ofte mere end modellens samlede parameterantal.
Qwen3.8-27B: Tæt model til de sværere vurderinger
Qwen3.8-27B er en tæt model, hvor alle 27 milliarder parametre indgår ved hvert token. NVIDIA placerer den som et stærkt Jetson-alternativ ved siden af Nemotron 3.5 Lightning. 1
En tæt model kan være et fornuftigt valg, når systemet træffer færre, men vanskeligere beslutninger, hvor der er større værdi i hvert enkelt svar. Ulempen er, at hele netværket aktiveres pr. token, hvilket kan kræve mere beregningskraft end en sparsom MoE-model.
Vælg efter arbejdsgang – ikke efter parameterantal
NVIDIAs grundlæggende råd er at benchmarke på den faktiske anvendelse: promptlængder, svarlængder, værktøjer, latenstidskrav, hukommelsesgrænser og beslutningsmønstre. 1
En agent med mange korte svar kan have fordel af en sparsom model med hurtig outputgenerering. Et system med færre og mere komplekse vurderinger kan omvendt acceptere langsommere generering, hvis modeladfærden er bedre til opgaven. Ingen af arkitekturerne er automatisk bedst til alle edge-installationer.
Hvad dækker resultatet på 6,28 gange over?
NVIDIA oplyser en maksimal forbedring af dekodningsgennemløbet på 6,28 gange i forhold til BF16 på Jetson AGX Thor ved at kombinere NVFP4 og spekulativ dekodning. Den bedste opsætning var modelafhængig: DSpark fungerede bedst for Nemotron 3.5 Lightning, mens DFlash2 fungerede bedst for Qwen3.8-27B. 1
Det er relevant, fordi dekodningen – den trinvis generering af outputtokens – ofte bestemmer, hvor responsiv en interaktiv agent opleves. Men tallet bør ikke læses som en universel hastighedspåstand. Kvaliteten af kladdemodellen, acceptgraden for tokens, batchstørrelse, kontekstlængde og runtime-konfiguration påvirker alle det reelle gennemløb. 1
Hvorfor lokal inferens ændrer edge-AI
Når modellen kører på selve enheden, behøver hver ræsonneringsopgave ikke at være afhængig af en tur til et eksternt datacenter. For fysiske systemer kan det betyde mindre netværksbetinget forsinkelse, fortsat drift ved ustabil forbindelse og mulighed for at beholde sensorstrømme og driftslogfiler på enheden. NVIDIA fremhæver netop datalokalitet og realtidsrespons som centrale fordele ved ræsonnerende edge-AI og AI-agenter. 1
Det gør ikke cloud-infrastruktur overflødig. Centrale systemer kan stadig være nødvendige til modeltræning, flådestyring, analyse i stor skala eller opgaver, der overstiger enhedens hukommelse og regnekraft. Skiftet er, at forbindelsen til datacentret ikke nødvendigvis skal ligge på den kritiske vej for hver beslutning.
Hvem får mest ud af det?
NVIDIA peger blandt andet på assistenter i kabinen, anomalidetektion i realtid og robotter i barske eller fjerntliggende miljøer. 1
Fællesnævneren er systemer, som skal forstå lokal kontekst og reagere hurtigt nok til at have praktisk værdi. Det kan eksempelvis være:
- robotter, der skal ræsonnere over observationer og opgavestatus;
- industrisystemer, der fortolker udstyrshændelser eller driftslogfiler;
- køretøjsassistenter, der skal svare i en samtale i kabinen;
- inspektions- og overvågningsudstyr, som ikke kan regne med stabil netforbindelse.
De bedste kandidater er ikke blot enheder, der kan afvikle en sprogmodel. Det er systemer, hvor responstid, datalokalitet eller robusthed uden forbindelse har direkte driftsmæssig betydning.
Jetson AGX Thors plads i NVIDIAs sortiment
Jetson AGX Thor er NVIDIAs topplatform til krævende physical-AI-opgaver. NVIDIA oplyser, at den kombinerer en Blackwell-GPU med 128 GB hukommelse og leverer op til 2.070 FP4-TFLOPS inden for en strømramme på 130 W. 3
Den profil passer til guidens fokus på NVFP4, dekodning med højt gennemløb og større lokale ræsonneringsmodeller. AGX Orin er fortsat relevant i etablerede indlejrede installationer, mens Thor er rettet mod mere krævende generative og multimodale arbejdslaster.
I indstigningsklassen har NVIDIA også annonceret Jetson Orin Nano 2 til robotter, leverings- og inspektionsdroner samt vision-AI-systemer. Modulet og udviklingskittet ventes ifølge NVIDIA i første halvår af 2027. 1
Samlet peger porteføljen på en lagdelt strategi: mindre systemer til grundlæggende edge-AI, AGX Orin til modne indlejrede løsninger og AGX Thor til applikationer, der kræver mere hukommelse og regnekraft til lokal generativ ræsonnering.
Bundlinjen
NVIDIAs guide hævder ikke, at enhver frontier-model nu uden videre kan afvikles på ethvert indlejret modul. Den mere brugbare konklusion er snævrere: Kompakte ræsonneringsmodeller, vLLM, NVFP4-kvantisering og spekulativ dekodning kan gøre kompetente lokale AI-agenter realistiske på Jetson-hardware. 1
For udviklere er næste skridt derfor praktisk: Test målmodellen på den konkrete Jetson-enhed med produktets rigtige prompts, værktøjer, kontekstvinduer og krav til svartid. Resultatet på 6,28 gange viser potentialet i optimeringen; applikationens eget benchmark afgør, om det bliver til et brugbart edge-AI-system. 1
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "NVIDIA Jetson: Lokal ræsonnerende AI får fart på med Thor og Orin"?
NVIDIA peger på Nemotron 3.5 Lightning og Qwen3.8 27B som modeller, der kan afvikles lokalt på Jetson AGX Orin og AGX Thor via vLLM.
What are the key points to validate first?
NVIDIA peger på Nemotron 3.5 Lightning og Qwen3.8 27B som modeller, der kan afvikles lokalt på Jetson AGX Orin og AGX Thor via vLLM. På Jetson AGX Thor rapporterer NVIDIA op til 6,28 gange højere dekodningsgennemløb end BF16, når NVFP4 kombineres med spekulativ dekodning.
What should I do next in practice?
Lokal inferens kan mindske afhængigheden af netforbindelse i robotter, køretøjer og industrisystemer, men den konkrete løsning skal benchmarkes på den reelle arbejdsgang.
Sources
developer.nvidia.comFrontier Reasoning Reaches the Edge: How to Deploy and Optimize ...