AnswersPublished13 sources
Jetson AGX Thor i AGX Orin: modele rozumujące AI bezpośrednio na urządzeniu
NVIDIA wskazuje Nemotron 3.5 Lightning i Qwen3.8 27B jako modele dla Jetson AGX Orin oraz AGX Thor; na Thorze połączenie NVFP4 z dekodowaniem spekulacyjnym osiągnęło do 6,28× większą przepustowość dekodowania niż BF16. Nemotron 3.5 Lightning to model MoE o 30 mld parametrów, z których na token aktywne są 3 mld; Qwen...
Opublikowane przezEdytowane za pomocą GPT-5.6 TerraObrazy wygenerowane za pomocą GPT Image 2
Research answer
Key takeaways
- NVIDIA wskazuje Nemotron 3.5 Lightning i Qwen3.8 27B jako modele dla Jetson AGX Orin oraz AGX Thor; na Thorze połączenie NVFP4 z dekodowaniem spekulacyjnym osiągnęło do 6,28× większą przepustowość dekodowania niż BF16.
- Nemotron 3.5 Lightning to model MoE o 30 mld parametrów, z których na token aktywne są 3 mld; Qwen3.8 27B jest modelem gęstym, aktywującym wszystkie 27 mld parametrów.
- Wnioskowanie lokalne ogranicza zależność robotów, pojazdów i instalacji przemysłowych od łącza z centrum danych, ale wybór modelu trzeba zweryfikować testami na rzeczywistym obciążeniu.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does NVIDIA’s September 4 developer guide show that Jetson AGX Thor and AGX Orin modules can run compact reasoning and agentic AI models. Article summary: NVIDIA’s September 4 guide argues that recent compact open models, combined with Jetson-optimized serving and decoding techniques, make multi-step reasoning and agent loops practical on-device rather than requiring a rou. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Uruchamianie modeli zdolnych do wieloetapowego rozumowania na komputerze wbudowanym zwykle wymagało kompromisu: albo możliwości modelu, albo szybkość reakcji. W poradniku dla deweloperów opublikowanym 4 września NVIDIA przekonuje, że sytuacja się zmienia. Zoptymalizowane otwarte modele, wnioskowanie o obniżonej precyzji i szybsze dekodowanie mają umożliwiać działanie AI rozumującej i agentowej bezpośrednio na modułach Jetson AGX Orin oraz Jetson AGX Thor. 1
Najmocniejszy wynik podawany przez firmę to do 6,28× większa przepustowość dekodowania niż w BF16 na Jetson AGX Thor, gdy połączono kwantyzację NVFP4 z dekodowaniem spekulacyjnym. Nie jest to uniwersalna obietnica liczby tokenów na sekundę — rezultat zależy od modelu i obciążenia — ale pokazuje, dlaczego lokalni agenci AI stają się realniejszą opcją dla robotyki, pojazdów i przemysłu. 1
Lokalny stos: serwowanie modelu, niższa precyzja, sprawniejsze dekodowanie
NVIDIA wymienia Nemotron 3.5 Lightning oraz Qwen3.8-27B jako mocne opcje dla Jetson AGX Orin i Jetson AGX Thor. Modele można serwować na Jetsonie za pomocą vLLM, a wydajność zwiększać dwiema uzupełniającymi się metodami. 1
Kwantyzacja NVFP4
NVFP4 wykorzystuje 4-bitową reprezentację zmiennoprzecinkową, aby ograniczyć ilość obliczeń i pamięci potrzebnych do operacji modelu. W systemach wbudowanych szczególnie ważny jest mniejszy ruch danych: podczas generowania odpowiedzi trzeba szybko przenosić wagi i aktywacje, a nie tylko dysponować odpowiednią mocą obliczeniową. 1
Jetson AGX Thor jest do tego dobrze przygotowany, ponieważ jego GPU Blackwell ma natywną obsługę FP4 w Transformer Engine, według NVIDIA. 3
Dekodowanie spekulacyjne
W dekodowaniu spekulacyjnym mniejszy model pomocniczy proponuje kilka kolejnych tokenów, a główny model weryfikuje je jednocześnie i zachowuje ostateczną decyzję. Jeśli zaakceptuje kilka propozycji, generowanie przesuwa się o wiele tokenów w jednym kroku weryfikacji, zamiast tworzyć je pojedynczo. 1
Korzyść zależy od tego, jak często propozycje pomocniczego modelu są akceptowane. Dlatego wynik może się zmieniać wraz z modelem, promptem i konfiguracją dekodowania; nie należy traktować tej techniki jako stałego mnożnika wydajności.
Nemotron 3.5 Lightning czy Qwen3.8-27B?
Modele te reprezentują dwa różne kompromisy w lokalnym wdrożeniu na brzegu sieci.
Nemotron 3.5 Lightning: duża pojemność, mniej aktywnych parametrów
Nemotron 3.5 Lightning to model typu mixture-of-experts (MoE) o 30 mld parametrów, lecz dla każdego tokenu aktywuje 3 mld z nich. NVIDIA opisuje go jako model dla warstwy wykonawczej długo działających, stale aktywnych agentów. 2
Taka architektura może być atrakcyjna, gdy agent często generuje odpowiedzi i wielokrotnie przechodzi przez cykl operacyjny: interpretuje zdarzenie, wywołuje dozwolone narzędzie, sprawdza rezultat i decyduje, czy kontynuować działanie albo przekazać sprawę dalej. Liczy się wówczas nie tylko łączna liczba parametrów, lecz także liczba parametrów aktywnych na token oraz trwała szybkość generowania.
Qwen3.8-27B: pełna, gęsta sieć przy każdym tokenie
Qwen3.8-27B jest modelem gęstym: przy generowaniu każdego tokenu uczestniczy w nim wszystkie 27 mld parametrów. NVIDIA wskazuje go jako silną opcję dla Jetsona obok Nemotron 3.5 Lightning. 1
Model gęsty może pasować do zastosowań z rzadszymi, lecz bardziej wymagającymi decyzjami. Ceną jest większe zapotrzebowanie na moc obliczeniową, ponieważ dla każdego tokenu uruchamiana jest cała sieć, a nie tylko wybrani eksperci modelu MoE.
Wybór powinien wynikać z przepływu pracy
W praktyce NVIDIA zaleca testowanie na realnej aplikacji: z jej długością promptów i odpowiedzi, używanymi narzędziami, budżetem opóźnień, ograniczeniami pamięci oraz charakterem podejmowanych decyzji. 1
Agent, który musi często odpowiadać, może skorzystać na rzadkim modelu z szybkim generowaniem. System podejmujący mniej, ale trudniejszych decyzji może zaakceptować wolniejsze odpowiedzi. Sama liczba parametrów nie rozstrzyga, która architektura będzie lepsza na urządzeniu brzegowym.
Co dokładnie oznacza wynik 6,28× na Jetson AGX Thor?
NVIDIA podaje maksymalnie 6,28× wyższą przepustowość dekodowania względem BF16 po połączeniu NVFP4 i dekodowania spekulacyjnego na Jetson AGX Thor. Najlepsza konfiguracja dekodowania zależała przy tym od modelu: dla Nemotron 3.5 Lightning najlepiej wypadał DSpark, a dla Qwen3.8-27B — DFlash2. 1
To istotne, ponieważ dekodowanie, czyli kolejne tworzenie tokenów odpowiedzi, często decyduje o odczuwalnej responsywności interaktywnego agenta. Wyniku nie należy jednak odczytywać jako deklaracji dla każdego promptu, modelu i wdrożenia. Na faktyczną przepustowość wpływają m.in. jakość modelu pomocniczego, wskaźnik akceptacji tokenów, wielkość batcha, długość kontekstu i konfiguracja środowiska uruchomieniowego. 1
Dlaczego lokalne wnioskowanie zmienia projektowanie edge AI?
Model działający na urządzeniu nie musi wysyłać każdego zapytania wymagającego rozumowania do zdalnego centrum danych. Dla systemów fizycznych może to oznaczać mniejsze opóźnienia związane z siecią, pracę przy niestabilnej łączności oraz możliwość pozostawienia strumieni czujników i dzienników operacyjnych na urządzeniu. NVIDIA wskazuje AI rozumującą na brzegu jako szczególnie wartościową tam, gdzie liczą się lokalność danych i reakcja w czasie rzeczywistym. 1
Nie oznacza to końca roli chmury. Scentralizowana infrastruktura nadal może służyć do trenowania modeli, zarządzania flotą urządzeń, analiz na dużą skalę albo zadań przekraczających dostępną pamięć i moc obliczeniową modułu. Zmiana polega na tym, że połączenie z centrum danych nie musi już znajdować się na krytycznej ścieżce każdej decyzji.
Zastosowania, które mogą skorzystać najwięcej
NVIDIA wymienia asystentów w kabinie pojazdu, wykrywanie anomalii w czasie rzeczywistym oraz roboty pracujące w trudnych lub odległych lokalizacjach. 1
Wspólnym wymaganiem jest tu zdolność systemu do interpretowania lokalnego kontekstu i reakcji wystarczająco szybkiej, by była użyteczna. Potencjalne zastosowania obejmują:
- roboty analizujące obserwacje i stan realizacji zadania;
- systemy przemysłowe interpretujące zdarzenia z maszyn lub dzienniki operacyjne;
- asystentów pojazdu reagujących w trakcie interakcji w kabinie;
- urządzenia do zdalnej inspekcji i monitoringu, które nie mogą zakładać niezawodnej łączności.
Najlepszymi kandydatami nie są po prostu urządzenia zdolne uruchomić duży model językowy. Są nimi systemy, w których czas odpowiedzi, prywatność lub lokalność danych oraz odporność na brak sieci mają bezpośrednią wartość operacyjną.
Miejsce AGX Thor w rodzinie Jetson
Jetson AGX Thor to wysokowydajna platforma NVIDIA dla wymagających zadań physical AI, czyli AI działającej w środowisku fizycznym. Według NVIDIA łączy GPU Blackwell ze 128 GB pamięci i oferuje do 2070 FP4 TFLOPS w ramach limitu mocy 130 W. 3
Taki profil sprzętowy odpowiada celom opisanym w poradniku: NVFP4, dekodowaniu o dużej przepustowości oraz większym lokalnym modelom rozumującym. AGX Orin pozostaje rozwiązaniem dla dojrzałych wdrożeń wbudowanych, natomiast Thor celuje w bardziej wymagające obciążenia generatywne i multimodalne.
Na poziomie wejściowym NVIDIA zapowiedziała Jetson Orin Nano 2, przeznaczony do robotyki, dronów dostawczych i inspekcyjnych oraz systemów wizyjnych AI. Firma oczekuje dostępności modułu i zestawu deweloperskiego w pierwszej połowie 2027 roku. 1
Tworzy to podejście warstwowe: mniejsze systemy dla podstawowego edge AI, AGX Orin dla sprawdzonych wdrożeń wbudowanych oraz AGX Thor dla zastosowań potrzebujących większej pamięci i mocy do lokalnego rozumowania generatywnego.
Wniosek
Poradnik NVIDIA nie stwierdza, że każdy zaawansowany model można już wygodnie uruchomić na każdym module wbudowanym. Jego praktyczny przekaz jest węższy: kompaktowe modele rozumujące, wdrożenie przez vLLM, kwantyzacja NVFP4 i dekodowanie spekulacyjne mogą uczynić sprawnych lokalnych agentów realną opcją na sprzęcie klasy Jetson. 1
Dla twórców następny krok powinien być empiryczny: przetestować docelowy model na konkretnym Jetsonie, z prawdziwymi promptami, narzędziami, oknami kontekstu i wymaganiami dotyczącymi czasu odpowiedzi. Wynik 6,28× pokazuje potencjał optymalizacji; o użyteczności systemu edge AI rozstrzygnie jednak benchmark rzeczywistej aplikacji. 1
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jetson AGX Thor i AGX Orin: modele rozumujące AI bezpośrednio na urządzeniu"?
NVIDIA wskazuje Nemotron 3.5 Lightning i Qwen3.8 27B jako modele dla Jetson AGX Orin oraz AGX Thor; na Thorze połączenie NVFP4 z dekodowaniem spekulacyjnym osiągnęło do 6,28× większą przepustowość dekodowania niż BF16.
What are the key points to validate first?
NVIDIA wskazuje Nemotron 3.5 Lightning i Qwen3.8 27B jako modele dla Jetson AGX Orin oraz AGX Thor; na Thorze połączenie NVFP4 z dekodowaniem spekulacyjnym osiągnęło do 6,28× większą przepustowość dekodowania niż BF16. Nemotron 3.5 Lightning to model MoE o 30 mld parametrów, z których na token aktywne są 3 mld; Qwen3.8 27B jest modelem gęstym, aktywującym wszystkie 27 mld parametrów.
What should I do next in practice?
Wnioskowanie lokalne ogranicza zależność robotów, pojazdów i instalacji przemysłowych od łącza z centrum danych, ale wybór modelu trzeba zweryfikować testami na rzeczywistym obciążeniu.
Sources
developer.nvidia.comFrontier Reasoning Reaches the Edge: How to Deploy and Optimize ...