AnswersPublished13 sources
Jetson AGX Thor a Orin: jak NVIDIA rozbíhá reasoning AI lokálně
NVIDIA uvádí, že na modulech Jetson AGX Orin a AGX Thor lze lokálně provozovat Nemotron 3.5 Lightning a Qwen3.8 27B; na Thoru přinesla kombinace NVFP4 a spekulativního dekódování až 6,28× vyšší propustnost dekódování... Nemotron 3.5 Lightning je model MoE s celkem 30 miliardami parametrů, z nichž aktivuje 3 miliardy...
PublikovalUpraveno pomocí GPT-5.6 TerraObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- NVIDIA uvádí, že na modulech Jetson AGX Orin a AGX Thor lze lokálně provozovat Nemotron 3.5 Lightning a Qwen3.8 27B; na Thoru přinesla kombinace NVFP4 a spekulativního dekódování až 6,28× vyšší propustnost dekódování...
- Nemotron 3.5 Lightning je model MoE s celkem 30 miliardami parametrů, z nichž aktivuje 3 miliardy na token; Qwen3.8 27B je hustý model, který při každém tokenu využívá všech 27 miliard parametrů.
- Lokální inference snižuje závislost robotů, vozidel a průmyslových systémů na konektivitě.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does NVIDIA’s September 4 developer guide show that Jetson AGX Thor and AGX Orin modules can run compact reasoning and agentic AI models. Article summary: NVIDIA’s September 4 guide argues that recent compact open models, combined with Jetson-optimized serving and decoding techniques, make multi-step reasoning and agent loops practical on-device rather than requiring a rou. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Vícekrokové uvažování velkých jazykových modelů přímo v zabudovaném zařízení dosud obvykle znamenalo volbu mezi schopnostmi modelu a rychlostí odezvy. NVIDIA ve vývojářském průvodci z 4. září tvrdí, že se tato hranice posouvá: optimalizované otevřené modely, inference s nízkou přesností a rychlejší dekódování mají umožnit provoz schopné reasoning a agentní AI přímo na modulech Jetson AGX Orin a Jetson AGX Thor. 1
Nejvýraznější naměřený výsledek: na Jetsonu AGX Thor dosáhla NVIDIA při spojení kvantizace NVFP4 a spekulativního dekódování až 6,28× vyšší propustnosti dekódování než s BF16. Nejde o univerzální příslib počtu tokenů za sekundu — výsledek se vztahuje ke konkrétním modelům a pracovním zátěžím. Ukazuje však, proč jsou lokální AI agenti praktičtější pro robotiku, vozidla a průmyslovou techniku. 1
Z čeho se lokální nasazení skládá
NVIDIA doporučuje pro Jetson AGX Orin a Jetson AGX Thor modely Nemotron 3.5 Lightning a Qwen3.8-27B. Oba lze na Jetsonu obsluhovat pomocí frameworku vLLM. Výkon pak zvyšují dvě vzájemně se doplňující techniky: kvantizace NVFP4 a spekulativní dekódování. 1
NVFP4: méně paměťových přenosů i výpočtů
NVFP4 používá čtyřbitové formáty s plovoucí řádovou čárkou, čímž snižuje objem potřebných výpočtů a paměti pro operace modelu. U embedded inference není limitem jen samotný výpočetní výkon; zásadní je i to, zda zařízení dokáže dostatečně rychle přesouvat váhy modelu a aktivace během generování. 1
Jetson Thor je pro tento postup zvlášť vhodný, protože jeho GPU architektury Blackwell podle NVIDIA podporuje FP4 nativně prostřednictvím Transformer Enginu. 3
Spekulativní dekódování: návrh a následné ověření
Při spekulativním dekódování menší „draft“ model navrhne několik následujících tokenů a hlavní model je ověří najednou. Konečné rozhodnutí nadále patří hlavnímu modelu. Pokud přijme více návrhů, generování se posune o několik tokenů v jediném ověřovacím kroku místo běžného postupu po jednom tokenu. 1
Přínos proto závisí na tom, jak často hlavní model navržené tokeny přijme. Výsledek se může lišit podle modelu, promptu i konfigurace dekódování; nejde tedy o pevný násobek výkonu, ale o optimalizaci konkrétní pracovní zátěže.
Nemotron 3.5 Lightning versus Qwen3.8-27B
Oba modely představují odlišné kompromisy pro nasazení na okraji sítě.
Nemotron 3.5 Lightning: vysoká kapacita s menším počtem aktivních parametrů
Nemotron 3.5 Lightning je model typu mixture-of-experts (MoE) s 30 miliardami parametrů, ale pro každý token aktivuje jen 3 miliardy z nich. NVIDIA jej popisuje jako model určený pro výkonnou vrstvu dlouhodobě běžících, stále aktivních agentů. 2
Takové uspořádání může dávat smysl pro agenta, který musí často generovat odpovědi nebo opakovaně procházet provozní smyčkou: vyhodnotit událost, zavolat povolený nástroj, ověřit výsledek a rozhodnout, zda pokračovat nebo předat případ člověku. Důležitý zde není pouze celkový počet parametrů, ale i počet aktivních parametrů na token a dlouhodobě udržitelná rychlost generování.
Qwen3.8-27B: hustý model pro náročnější rozhodování
Qwen3.8-27B je hustý model: na vytvoření každého tokenu využívá všech 27 miliard parametrů. NVIDIA jej řadí mezi vhodné možnosti pro Jetson vedle Nemotronu 3.5 Lightning. 1
Hustá architektura může být vhodná tam, kde aplikace nedělá tolik rozhodnutí, ale u každého z nich více záleží na výsledku. Cenou je vyšší výpočetní náročnost, protože se při každém tokenu aktivuje celá síť, na rozdíl od řídkého modelu MoE.
Rozhoduje pracovní postup, ne číslo v názvu modelu
Praktické doporučení NVIDIA je testovat na reálné aplikaci: s jejími délkami promptů a odpovědí, používanými nástroji, limitem latence, dostupnou pamětí i vzorcem rozhodování. 1
Agent, který musí často odpovídat, může profitovat z řídkého modelu s rychlým generováním. Systém s menším počtem složitějších rozhodnutí může naopak přijmout pomalejší výstup výměnou za chování hustého modelu. Ani jedna architektura proto není automaticky nejlepší pro každé edge nasazení.
Co přesně znamená výsledek 6,28× na Jetsonu AGX Thor
NVIDIA uvádí maximální 6,28násobné zvýšení propustnosti dekódování oproti BF16 při kombinaci NVFP4 a spekulativního dekódování na Jetsonu AGX Thor. Optimální konfigurace spekulativního dekódování se ale lišila podle modelu: pro Nemotron 3.5 Lightning vyšel nejlépe DSpark, zatímco pro Qwen3.8-27B DFlash2. 1
To je důležité hlavně proto, že dekódování — postupné vytváření výstupních tokenů — často určuje, jak svižně interaktivní agent působí na uživatele. Nelze z toho ale vyvozovat stejný násobek pro každý prompt, model nebo produktové nasazení. Reálnou propustnost ovlivňuje kvalita pomocného draft modelu, míra přijetí jeho tokenů, velikost dávky, délka kontextu i nastavení runtime prostředí. 1
Proč lokální inference mění návrh edge AI
Model spuštěný přímo v zařízení nevyžaduje, aby každý požadavek na reasoning putoval do vzdáleného datacentra. Pro fyzické systémy to může znamenat menší zpoždění spojené se sítí, pokračování provozu i při přerušovaném připojení a možnost ponechat datové proudy ze senzorů či provozní záznamy v zařízení. NVIDIA zdůrazňuje význam edge reasoning a agentní AI zejména tam, kde jsou důležité lokalita dat a reakce v reálném čase. 1
To neznamená konec cloudové infrastruktury. Centrální systémy mohou nadále sloužit k trénování modelů, správě flotily zařízení, analýzám ve velkém měřítku nebo úlohám, které překračují dostupnou paměť a výpočetní výkon zařízení. Podstatná změna spočívá v tom, že spojení s datacentrem nemusí být kritickou součástí každého jednotlivého rozhodnutí.
Kde se lokální reasoning vyplatí nejvíc
NVIDIA zmiňuje asistenty v kabině vozidla, detekci anomálií v reálném čase a roboty nasazené v náročném nebo odlehlém prostředí. 1
Tyto příklady mají společný praktický požadavek: systém musí chápat lokální kontext a reagovat dostatečně rychle, aby byl skutečně užitečný. Vhodné mohou být například:
- roboti, kteří vyhodnocují pozorování a stav úkolu;
- průmyslové systémy interpretující události zařízení nebo provozní logy;
- asistenti ve vozidle, kde odpověď musí přijít během přirozené interakce v kabině;
- vzdálená inspekční a monitorovací zařízení, která nemohou počítat se stabilním připojením.
Nejlepšími kandidáty nejsou jen zařízení schopná spustit LLM. Jsou to systémy, u nichž mají rychlá odezva, soukromí či lokalita dat a odolnost při výpadku připojení přímou provozní hodnotu.
Kam AGX Thor zapadá v řadě Jetson
Jetson AGX Thor je špičková platforma NVIDIA pro náročné úlohy takzvané fyzické AI. Společnost uvádí kombinaci GPU Blackwell se 128 GB paměti a výkon až 2 070 FP4 TFLOPS při energetickém limitu 130 W. 3
Tento hardware odpovídá zaměření průvodce na NVFP4, dekódování s vysokou propustností a větší lokální reasoning modely. AGX Orin zůstává relevantní pro zavedené embedded projekty, zatímco Thor míří na náročnější generativní a multimodální úlohy.
Na vstupní úrovni NVIDIA oznámila Jetson Orin Nano 2 pro robotiku, doručovací a inspekční drony a systémy obrazové AI. Dostupnost modulu i vývojářské sady společnost očekává v první polovině roku 2027. 1
Celé portfolio tak směřuje k rozdělení podle náročnosti: menší systémy pro základní edge AI, AGX Orin pro vyspělé zabudované nasazení a AGX Thor pro aplikace vyžadující více paměti a výpočetního výkonu pro lokální generativní reasoning.
Shrnutí
Průvodce NVIDIA netvrdí, že každý špičkový model lze nyní pohodlně provozovat na každém embedded modulu. Užitečnější závěr je střízlivější: kompaktní reasoning modely, nasazení přes vLLM, kvantizace NVFP4 a spekulativní dekódování mohou učinit schopné lokální AI agenty proveditelnými na hardwaru třídy Jetson. 1
Pro vývojáře je dalším krokem měření v praxi. Model je potřeba otestovat na cílovém Jetsonu, se skutečnými prompty, nástroji, kontextovými okny a požadavky produktu na dobu odezvy. Hodnota 6,28× ukazuje potenciál optimalizace; o použitelnosti edge AI systému ale rozhodne až benchmark konkrétní aplikace. 1
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Jetson AGX Thor a Orin: jak NVIDIA rozbíhá reasoning AI lokálně"?
NVIDIA uvádí, že na modulech Jetson AGX Orin a AGX Thor lze lokálně provozovat Nemotron 3.5 Lightning a Qwen3.8 27B; na Thoru přinesla kombinace NVFP4 a spekulativního dekódování až 6,28× vyšší propustnost dekódování...
What are the key points to validate first?
NVIDIA uvádí, že na modulech Jetson AGX Orin a AGX Thor lze lokálně provozovat Nemotron 3.5 Lightning a Qwen3.8 27B; na Thoru přinesla kombinace NVFP4 a spekulativního dekódování až 6,28× vyšší propustnost dekódování... Nemotron 3.5 Lightning je model MoE s celkem 30 miliardami parametrů, z nichž aktivuje 3 miliardy na token; Qwen3.8 27B je hustý model, který při každém tokenu využívá všech 27 miliard parametrů.
What should I do next in practice?
Lokální inference snižuje závislost robotů, vozidel a průmyslových systémů na konektivitě.
Sources
developer.nvidia.comFrontier Reasoning Reaches the Edge: How to Deploy and Optimize ...