AntwortenVeröffentlicht13 Quellen
NVIDIA Jetson: Reasoning-KI läuft lokal am Edge
NVIDIA nennt Nemotron 3.5 Lightning und Qwen3.8 27B als geeignete Modelle für Jetson AGX Orin und AGX Thor. Nemotron 3.5 Lightning ist ein MoE Modell mit 30 Milliarden Parametern, von denen pro Token 3 Milliarden aktiv sind.
Veröffentlicht vonBearbeitet mit GPT-5.6 TerraBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- NVIDIA nennt Nemotron 3.5 Lightning und Qwen3.8 27B als geeignete Modelle für Jetson AGX Orin und AGX Thor.
- Nemotron 3.5 Lightning ist ein MoE Modell mit 30 Milliarden Parametern, von denen pro Token 3 Milliarden aktiv sind.
- Lokale Inferenz kann Roboter, Fahrzeuge und Industrieanlagen unabhängiger von der Netzwerkverbindung machen.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does NVIDIA’s September 4 developer guide show that Jetson AGX Thor and AGX Orin modules can run compact reasoning and agentic AI models. Article summary: NVIDIA’s September 4 guide argues that recent compact open models, combined with Jetson-optimized serving and decoding techniques, make multi-step reasoning and agent loops practical on-device rather than requiring a rou. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Reasoning-Modelle, die mehrstufig planen und Werkzeuge nutzen, galten auf Embedded-Hardware lange als Kompromissfall: Entweder war das Modell zu groß oder die Reaktionszeit zu langsam. NVIDIA argumentiert in einem Entwicklerleitfaden vom 4. September, dass sich diese Grenze verschiebt. Optimierte offene Modelle, niedrigpräzise Inferenz und schnelleres Decoding sollen leistungsfähige KI-Agenten direkt auf Jetson AGX Orin und Jetson AGX Thor ermöglichen. 1
Die auffälligste Zahl: Auf Jetson AGX Thor erreichte die Kombination aus NVFP4-Quantisierung und spekulativem Decoding laut NVIDIA einen um bis zu 6,28-mal höheren Decoding-Durchsatz gegenüber BF16. Das ist ein Ergebnis für bestimmte Modelle und Workloads, keine allgemeingültige Zusage für Tokens pro Sekunde. Es zeigt aber, weshalb lokale Agenten für Robotik, Fahrzeuge und Industrieanlagen realistischer werden. 1
Der lokale Stack: bereitstellen, quantisieren, schneller dekodieren
Als Modelle für Jetson AGX Orin und Jetson AGX Thor nennt NVIDIA Nemotron 3.5 Lightning und Qwen3.8-27B. Sie lassen sich auf Jetson mit vLLM ausliefern; für mehr Effizienz kombiniert der Leitfaden zwei Verfahren. 1
NVFP4: weniger Speicherverkehr, weniger Rechenaufwand
NVFP4 nutzt vier Bit breite Gleitkommaformate. Damit sinken Speicherbedarf und Rechenaufwand bei Modelloperationen. Gerade bei eingebetteter Inferenz ist das wichtig: Nicht nur die reine Rechenleistung begrenzt die Geschwindigkeit, sondern auch, wie schnell Gewichte und Aktivierungen während der Textgenerierung bewegt werden können. 1
Jetson Thor ist dafür besonders ausgelegt. Laut NVIDIA unterstützt die Blackwell-GPU der Plattform FP4 nativ über ihre Transformer Engine. 3
Spekulatives Decoding: mehrere Token auf einmal voranbringen
Beim spekulativen Decoding schlägt ein kleineres Entwurfsmodell mehrere mögliche Folgetoken vor. Das Hauptmodell prüft sie gemeinsam und behält stets die finale Entscheidung. Akzeptiert es mehrere Vorschläge, kommt die Ausgabe in einem Prüfschritt um mehrere Token voran statt nur um eines. 1
Wie stark das hilft, hängt davon ab, wie viele Token das Hauptmodell akzeptiert. Modell, Prompt und Decoding-Konfiguration verändern das Ergebnis. Spekulatives Decoding ist daher eine Optimierung für konkrete Workloads – kein pauschaler Geschwindigkeitsmultiplikator.
Nemotron 3.5 Lightning oder Qwen3.8-27B?
Die beiden Modelle stehen für unterschiedliche Kompromisse beim Einsatz am Edge.
Nemotron 3.5 Lightning: hohe Kapazität, wenige aktive Parameter
Nemotron 3.5 Lightning ist ein Mixture-of-Experts-Modell (MoE) mit 30 Milliarden Parametern. Pro Token werden jedoch nur 3 Milliarden Parameter aktiviert. NVIDIA beschreibt es als Modell für die Ausführungsebene langlebiger, dauerhaft aktiver Agenten. 2
Das kann attraktiv sein, wenn ein Agent fortlaufend Antworten erzeugt und wiederkehrende Abläufe bearbeitet: ein Ereignis einordnen, ein freigegebenes Werkzeug aufrufen, das Ergebnis prüfen und entscheiden, ob er weitermacht oder eskaliert. Relevant sind dann nicht nur die Gesamtparameter, sondern die aktiven Parameter pro Token und die dauerhaft erreichbare Generierungsgeschwindigkeit.
Qwen3.8-27B: dichtes Modell für anspruchsvollere Entscheidungen
Qwen3.8-27B ist ein dichtes Modell: Bei jedem Token sind alle 27 Milliarden Parameter beteiligt. NVIDIA positioniert es neben Nemotron 3.5 Lightning als starke Option für Jetson. 1
Ein dichtes Modell kann passen, wenn ein System seltener entscheiden muss, diese Entscheidungen aber anspruchsvoller sind. Der Preis dafür: Die vollständige Aktivierung des Netzes pro Token kann mehr Rechenleistung erfordern als bei einem sparsamen MoE-Modell.
Nicht nach der Parameterzahl entscheiden
NVIDIAs praktische Empfehlung lautet: mit dem echten Anwendungsszenario testen – also mit realen Prompt- und Antwortlängen, Werkzeugen, Latenzvorgaben, Speichergrenzen und Entscheidungsmustern. 1
Ein Agent mit vielen kurzen Antworten kann von einem sparsamen Modell mit schneller Ausgabe profitieren. Ein System mit weniger, aber komplexeren Bewertungen kann eine niedrigere Generierungsgeschwindigkeit akzeptieren. Keine der beiden Architekturen ist automatisch für jeden Edge-Einsatz überlegen.
Was der 6,28-fache Wert tatsächlich aussagt
NVIDIA meldet auf Jetson AGX Thor eine maximale Steigerung des Decoding-Durchsatzes um das 6,28-Fache gegenüber BF16, wenn NVFP4 und spekulatives Decoding kombiniert werden. Die günstigste Konfiguration unterschied sich dabei je Modell: Für Nemotron 3.5 Lightning funktionierte laut NVIDIA DSpark am besten, für Qwen3.8-27B DFlash2. 1
Das ist relevant, weil beim interaktiven KI-Agenten häufig das schrittweise Erzeugen der Ausgabetoken über die gefühlte Reaktionszeit entscheidet. Die Zahl darf aber nicht als universelles Tempo-Versprechen gelesen werden. Qualität des Entwurfsmodells, Akzeptanzrate der Token, Batch-Größe, Kontextlänge und Laufzeitkonfiguration beeinflussen den tatsächlichen Durchsatz. 1
Warum lokale Inferenz die Edge-Architektur verändert
Läuft das Modell auf dem Gerät, muss nicht jede Reasoning-Anfrage ein entferntes Rechenzentrum erreichen. Bei physischen Systemen kann das netzwerkbedingte Verzögerungen reduzieren, den Betrieb bei instabiler Verbindung ermöglichen und Sensorströme sowie Betriebsprotokolle lokal halten. NVIDIA hebt Edge-Reasoning und agentische KI insbesondere für Fälle hervor, in denen Datenlokalität und Reaktionen in Echtzeit wichtig sind. 1
Das ersetzt Cloud-Infrastruktur nicht. Zentrale Systeme bleiben etwa für Training, Flottenmanagement, großskalige Analysen oder Aufgaben sinnvoll, die den Speicher und die Rechenleistung des Geräts übersteigen. Neu ist vor allem: Für jede einzelne Entscheidung muss die Verbindung zum Rechenzentrum nicht mehr zwingend im kritischen Pfad liegen.
Wo der Ansatz besonders nützt
NVIDIA nennt Assistenten im Fahrzeuginnenraum, Anomalieerkennung in Echtzeit und Roboter in rauen oder abgelegenen Umgebungen. 1
Dazu passen etwa:
- Roboter, die Beobachtungen und Aufgabenstatus laufend bewerten müssen;
- Industrieanlagen, die Geräteereignisse oder Betriebsprotokolle interpretieren;
- Fahrzeugsysteme, die innerhalb einer Interaktion im Innenraum reagieren sollen;
- Inspektions- und Überwachungstechnik an Orten ohne verlässlich verfügbare Verbindung.
Die besten Kandidaten sind nicht einfach Geräte, auf denen ein LLM startet. Entscheidend ist, ob kurze Reaktionszeiten, Datenlokalität oder Offline-Fähigkeit einen direkten betrieblichen Nutzen haben.
AGX Thor im Jetson-Portfolio
Jetson AGX Thor ist NVIDIAs High-End-Plattform für anspruchsvolle Physical-AI-Anwendungen. NVIDIA gibt eine Blackwell-GPU, 128 GB Speicher sowie bis zu 2.070 FP4-TFLOPS innerhalb eines Leistungsrahmens von 130 Watt an. 3
Dieses Hardwareprofil passt zum Fokus des Leitfadens auf NVFP4, hohen Decoding-Durchsatz und größere lokale Reasoning-Modelle. AGX Orin bleibt für etablierte Embedded-Installationen relevant, während Thor auf rechenintensivere generative und multimodale Anwendungen zielt.
Für die Einstiegsklasse hat NVIDIA außerdem Jetson Orin Nano 2 für Robotik, Liefer- und Inspektionsdrohnen sowie Vision-AI-Systeme angekündigt. Modul und Entwicklerkit sollen nach Angaben des Unternehmens in der ersten Hälfte 2027 verfügbar sein. 1
Damit zeichnet sich ein gestuftes Portfolio ab: kleinere Systeme für Edge-KI im Einstieg, AGX Orin für ausgereifte Embedded-Einsätze und AGX Thor für Anwendungen, die mehr Speicher und Rechenleistung für lokales generatives Reasoning benötigen.
Fazit
NVIDIA behauptet nicht, dass jedes Spitzenmodell nun bequem auf jedem Embedded-Modul läuft. Die belastbarere Aussage ist enger: Kompakte Reasoning-Modelle, die Bereitstellung mit vLLM, NVFP4-Quantisierung und spekulatives Decoding können leistungsfähige lokale Agenten auf Jetson-Hardware praktikabel machen. 1
Für Entwickler folgt daraus vor allem ein praktischer Schritt: Das Zielmodell muss auf dem Zielgerät mit den tatsächlichen Prompts, Werkzeugen, Kontextfenstern und Reaktionszeitanforderungen des Produkts getestet werden. Der 6,28-fache Wert zeigt das Optimierungspotenzial – ob daraus ein einsatzfähiges Edge-KI-System wird, entscheidet der Anwendungstest. 1
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „NVIDIA Jetson: Reasoning-KI läuft lokal am Edge“?
NVIDIA nennt Nemotron 3.5 Lightning und Qwen3.8 27B als geeignete Modelle für Jetson AGX Orin und AGX Thor.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
NVIDIA nennt Nemotron 3.5 Lightning und Qwen3.8 27B als geeignete Modelle für Jetson AGX Orin und AGX Thor. Nemotron 3.5 Lightning ist ein MoE Modell mit 30 Milliarden Parametern, von denen pro Token 3 Milliarden aktiv sind.
Was soll ich als nächstes in der Praxis tun?
Lokale Inferenz kann Roboter, Fahrzeuge und Industrieanlagen unabhängiger von der Netzwerkverbindung machen.
Quellen
developer.nvidia.comFrontier Reasoning Reaches the Edge: How to Deploy and Optimize ...