Model je dostupný ve formátech BF16 a NVFP4. Materiály NVIDIA a související modelová dokumentace popisují hybridní architekturu kombinující zpracování typu state space/Mamba, attention a směrované experty. Cílem je nabídnout kapacitu většího modelu, aniž by se při každém tokenu aktivovala celá síť.

Označení „30B“ a „3B aktivních“ popisují dvě různé věci:

• 30 miliard celkových parametrů: celý soubor naučených parametrů modelu.
• Přibližně 3 miliardy aktivních parametrů: část sítě použitá při jednom kroku generování.

Díky řídkému výpočtu může model patřit do vyšší velikostní kategorie, ale při generování se chovat podobně jako výrazně menší aktivní síť. Neznamená to, že není nutné řešit uložení nebo správu celého modelu. Výhodou je především nižší výpočetní náročnost na generovaný token.

Proč se zaměřuje na exekuční vrstvu

Autonomní agenti obvykle vytvářejí velké množství modelových požadavků. Po úvodním naplánování úkolu mohou opakovaně vybírat nástroje, číst strukturovaná data, ověřovat výsledek a převádět jej do požadovaného formátu.

Posílat každý takový požadavek k největšímu dostupnému modelu zvyšuje latenci i provozní náklady. Lightning má převzít předvídatelnou a často se opakující část práce, zatímco schopnější model zůstane k dispozici pro nejasná rozhodnutí a náročné uvažování.

Typická dvouvrstvá architektura může vypadat následovně:

1. Větší model interpretuje cíl a vytvoří plán.
2. Lightning provede rutinní kroky nad nástroji, dokumenty nebo strukturovanými daty.
3. Větší model se znovu přizve, pokud workflow narazí na nejistotu, výjimku nebo rozhodnutí vyžadující hlubší uvažování.

NVIDIA staví Lightning do kontrastu s modelem Nemotron 3 Ultra, který má celkem 550 miliard parametrů a 55 miliard aktivních parametrů a je určený pro špičkové uvažování a orchestrace agentů.

Jak do návrhu zapadá NeMo Switchyard

Taková sestava potřebuje směrování. Agent musí umět rozhodnout, který model zpracuje konkrétní krok, místo aby každý požadavek posílal na stejný endpoint.

NeMo Switchyard je SDK pro směrování požadavků mezi poskytovateli a modely. Umožňuje popsat požadavek, definovat dostupné cíle a spravovat volání vybraného poskytovatele nebo ID modelu. V praxi tak lze vytvořit hierarchii, v níž Lightning řeší rutinní volání a větší model dostává případy vyžadující vyšší schopnosti.

To je důležitý architektonický detail: Lightning dává největší smysl jako součást směrovaného vícemodelového systému, nikoli jako izolovaný chatbot.

Formáty, kontext a možnosti nasazení

Lightning je uváděn s kapacitou kontextu až 1 milion tokenů. To může být užitečné u agentů, kteří udržují dlouhé pracovní relace, zpracovávají rozsáhlé dokumenty nebo opakovaně pracují s velkým stavem úlohy. Skutečně využitelná délka kontextu a výkon ale závisí na konfiguraci a použitém servingovém stacku.

Checkpoint NVFP4 je určený pro inferenci a využívá specializovaná jádra NVIDIA na podporovaných generacích GPU. NVIDIA model nabízí pro lokální infrastrukturu, pracovní stanice, datová centra i cloud; dostupný je také přes Hugging Face a hostované služby.

AWS uvádí dostupnost Nemotronu 3.5 Lightning v katalogu SageMaker JumpStart. Nasazení lze provést prostřednictvím konzole Amazon SageMaker nebo pomocí Python SDK. Samostatnou možnost představuje kontejnerizované nasazení přes NVIDIA NIM, které vyžaduje konkrétní verze operačního systému, CUDA, ovladačů a Dockeru.

Hardwarové nároky je ale třeba posuzovat střízlivě. Kvantizovaný checkpoint může nasazení usnadnit, avšak možnost provozu na jediné GPU závisí na konkrétní kartě, dostupné paměti, délce kontextu, kvantizační cestě, dávkování i použitém softwaru. Tvrzení o přesných úsporách úložiště nebo široké podpoře spotřebitelských GeForce RTX proto nelze automaticky vztáhnout na každý notebook či stolní počítač.

Výkonové sliby mají háček

NVIDIA a AWS uvádějí až čtyřnásobně vyšší propustnost a až o 30 % rychlejší dokončení úloh u vybraných agentních pracovních zátěží. Nejde o univerzální měřítko inteligence modelu ani o záruku stejného výkonu v produkci.

Výsledek se může výrazně změnit podle:

• modelu použitého jako srovnávací základ;
• generace GPU a konfigurace paměti;
• velikosti dávky a míry souběžnosti;
• délky promptu a kontextu;
• latence nástrojů a sítě;
• nastavení dekódování; a
• přípustné chybovosti dané úlohy.

Lightning proto dává smysl testovat na metrikách konkrétního agenta: přesnosti extrakce, spolehlivosti volání nástrojů, dodržování strukturovaného výstupu a celkové době dokončení. Samotný údaj o počtu tokenů za sekundu nestačí.

Cena závisí na poskytovateli

Hostované API může být pro vysoký objem inference zajímavé. DeepInfra uvádí cenu 0,05 dolaru za 1 milion vstupních tokenů a 0,20 dolaru za 1 milion výstupních tokenů. Služba je účtována podle využití a nevyžaduje správu vlastní GPU infrastruktury.

Tato částka ale není trvalou vlastností modelu. Jiní poskytovatelé uvádějí jiné sazby a výsledné náklady ovlivňuje poskytovatel, přesnost, cache i konkrétní směrovací cesta. Při porovnávání s většími modely je proto nutné započítat celý workflow včetně opakovaných pokusů, volání nástrojů, směrování a požadavků, které stále vyžadují schopnější model.

Pro koho Lightning je a pro koho ne

Nemotron 3.5 Lightning je nejlepší chápat jako rychlý a upravitelný pracovní model pro agentní systémy. Hodí se tam, kde aplikace generuje mnoho podobných požadavků a kde lze úkol přesně specifikovat, omezit pravidly nebo model dodatečně dotrénovat.

Není prezentován jako univerzální náhrada velkého orchestration modelu. Komplexní plánování, nejistý úsudek a úlohy s vysokou cenou chyby mohou nadále vyžadovat větší model, například Nemotron 3 Ultra, nebo jiný systém špičkové úrovně.

Praktický závěr je jednoduchý: Lightning dává největší smysl jako nízkolatenční exekuční vrstva ve směrovaném agentním stacku. Celková kapacita 30 miliard parametrů, přibližně 3 miliardy aktivních parametrů, otevřené materiály, možnost kvantizované inference a několik cest nasazení míří na to, aby běžná práce agentů byla rychlejší a levnější. Deklarované přínosy jsou zajímavé, ale před produkčním nasazením je nutné je ověřit na vlastním workflow.

Model je dostupný ve formátech BF16 a NVFP4. Materiály NVIDIA a související modelová dokumentace popisují hybridní architekturu kombinující zpracování typu state space/Mamba, attention a směrované experty. Cílem je nabídnout kapacitu většího modelu, aniž by se při každém tokenu aktivovala celá síť.

Označení „30B“ a „3B aktivních“ popisují dvě různé věci:

• 30 miliard celkových parametrů: celý soubor naučených parametrů modelu.
• Přibližně 3 miliardy aktivních parametrů: část sítě použitá při jednom kroku generování.

Díky řídkému výpočtu může model patřit do vyšší velikostní kategorie, ale při generování se chovat podobně jako výrazně menší aktivní síť. Neznamená to, že není nutné řešit uložení nebo správu celého modelu. Výhodou je především nižší výpočetní náročnost na generovaný token.

Proč se zaměřuje na exekuční vrstvu

Autonomní agenti obvykle vytvářejí velké množství modelových požadavků. Po úvodním naplánování úkolu mohou opakovaně vybírat nástroje, číst strukturovaná data, ověřovat výsledek a převádět jej do požadovaného formátu.

Posílat každý takový požadavek k největšímu dostupnému modelu zvyšuje latenci i provozní náklady. Lightning má převzít předvídatelnou a často se opakující část práce, zatímco schopnější model zůstane k dispozici pro nejasná rozhodnutí a náročné uvažování.

Typická dvouvrstvá architektura může vypadat následovně:

1. Větší model interpretuje cíl a vytvoří plán.
2. Lightning provede rutinní kroky nad nástroji, dokumenty nebo strukturovanými daty.
3. Větší model se znovu přizve, pokud workflow narazí na nejistotu, výjimku nebo rozhodnutí vyžadující hlubší uvažování.

NVIDIA staví Lightning do kontrastu s modelem Nemotron 3 Ultra, který má celkem 550 miliard parametrů a 55 miliard aktivních parametrů a je určený pro špičkové uvažování a orchestrace agentů.

Jak do návrhu zapadá NeMo Switchyard

Taková sestava potřebuje směrování. Agent musí umět rozhodnout, který model zpracuje konkrétní krok, místo aby každý požadavek posílal na stejný endpoint.

NeMo Switchyard je SDK pro směrování požadavků mezi poskytovateli a modely. Umožňuje popsat požadavek, definovat dostupné cíle a spravovat volání vybraného poskytovatele nebo ID modelu. V praxi tak lze vytvořit hierarchii, v níž Lightning řeší rutinní volání a větší model dostává případy vyžadující vyšší schopnosti.

To je důležitý architektonický detail: Lightning dává největší smysl jako součást směrovaného vícemodelového systému, nikoli jako izolovaný chatbot.

Formáty, kontext a možnosti nasazení

Lightning je uváděn s kapacitou kontextu až 1 milion tokenů. To může být užitečné u agentů, kteří udržují dlouhé pracovní relace, zpracovávají rozsáhlé dokumenty nebo opakovaně pracují s velkým stavem úlohy. Skutečně využitelná délka kontextu a výkon ale závisí na konfiguraci a použitém servingovém stacku.

Checkpoint NVFP4 je určený pro inferenci a využívá specializovaná jádra NVIDIA na podporovaných generacích GPU. NVIDIA model nabízí pro lokální infrastrukturu, pracovní stanice, datová centra i cloud; dostupný je také přes Hugging Face a hostované služby.

AWS uvádí dostupnost Nemotronu 3.5 Lightning v katalogu SageMaker JumpStart. Nasazení lze provést prostřednictvím konzole Amazon SageMaker nebo pomocí Python SDK. Samostatnou možnost představuje kontejnerizované nasazení přes NVIDIA NIM, které vyžaduje konkrétní verze operačního systému, CUDA, ovladačů a Dockeru.

Hardwarové nároky je ale třeba posuzovat střízlivě. Kvantizovaný checkpoint může nasazení usnadnit, avšak možnost provozu na jediné GPU závisí na konkrétní kartě, dostupné paměti, délce kontextu, kvantizační cestě, dávkování i použitém softwaru. Tvrzení o přesných úsporách úložiště nebo široké podpoře spotřebitelských GeForce RTX proto nelze automaticky vztáhnout na každý notebook či stolní počítač.

Výkonové sliby mají háček

NVIDIA a AWS uvádějí až čtyřnásobně vyšší propustnost a až o 30 % rychlejší dokončení úloh u vybraných agentních pracovních zátěží. Nejde o univerzální měřítko inteligence modelu ani o záruku stejného výkonu v produkci.

Výsledek se může výrazně změnit podle:

• modelu použitého jako srovnávací základ;
• generace GPU a konfigurace paměti;
• velikosti dávky a míry souběžnosti;
• délky promptu a kontextu;
• latence nástrojů a sítě;
• nastavení dekódování; a
• přípustné chybovosti dané úlohy.

Lightning proto dává smysl testovat na metrikách konkrétního agenta: přesnosti extrakce, spolehlivosti volání nástrojů, dodržování strukturovaného výstupu a celkové době dokončení. Samotný údaj o počtu tokenů za sekundu nestačí.

Cena závisí na poskytovateli

Hostované API může být pro vysoký objem inference zajímavé. DeepInfra uvádí cenu 0,05 dolaru za 1 milion vstupních tokenů a 0,20 dolaru za 1 milion výstupních tokenů. Služba je účtována podle využití a nevyžaduje správu vlastní GPU infrastruktury.

Tato částka ale není trvalou vlastností modelu. Jiní poskytovatelé uvádějí jiné sazby a výsledné náklady ovlivňuje poskytovatel, přesnost, cache i konkrétní směrovací cesta. Při porovnávání s většími modely je proto nutné započítat celý workflow včetně opakovaných pokusů, volání nástrojů, směrování a požadavků, které stále vyžadují schopnější model.

Pro koho Lightning je a pro koho ne

Nemotron 3.5 Lightning je nejlepší chápat jako rychlý a upravitelný pracovní model pro agentní systémy. Hodí se tam, kde aplikace generuje mnoho podobných požadavků a kde lze úkol přesně specifikovat, omezit pravidly nebo model dodatečně dotrénovat.

Není prezentován jako univerzální náhrada velkého orchestration modelu. Komplexní plánování, nejistý úsudek a úlohy s vysokou cenou chyby mohou nadále vyžadovat větší model, například Nemotron 3 Ultra, nebo jiný systém špičkové úrovně.

Praktický závěr je jednoduchý: Lightning dává největší smysl jako nízkolatenční exekuční vrstva ve směrovaném agentním stacku. Celková kapacita 30 miliard parametrů, přibližně 3 miliardy aktivních parametrů, otevřené materiály, možnost kvantizované inference a několik cest nasazení míří na to, aby běžná práce agentů byla rychlejší a levnější. Deklarované přínosy jsou zajímavé, ale před produkčním nasazením je nutné je ověřit na vlastním workflow.