NVIDIA Nemotron 3.5 Lightning is de werkmotor voor AI-agents
NVIDIA bracht Nemotron 3.5 Lightning op 11 augustus 2026 uit als een open MoE model met 30 miljard totale en ongeveer 3 miljard actieve parameters, gericht op repetitieve taken van AI agents. De hybride architectuur, NVFP4 checkpoint en contextcapaciteit tot 1 miljoen tokens zijn bedoeld voor snelle inzet op lokale...
NVIDIA bracht Nemotron 3.5 Lightning op 11 augustus 2026 uit als een open MoE model met 30 miljard totale en ongeveer 3 miljard actieve parameters, gericht op repetitieve taken van AI agents.
De hybride architectuur, NVFP4 checkpoint en contextcapaciteit tot 1 miljoen tokens zijn bedoeld voor snelle inzet op lokale infrastructuur, in datacenters en via de cloud.
De meest logische toepassing is een model met twee niveaus: een groter model maakt het plan en neemt moeilijke beslissingen, terwijl Lightning toolaanroepen, extractie, controles en opmaak uitvoert.
What is Nvidia’s Nemotron 3.5 Lightning, released on August 11 as a 30-billion-parameter open model for the execution layer of autonomous AIAI-generated editorial illustration of Nemotron 3.5 Lightning as the execution layer in a multi-model AI agent system.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What is Nvidia’s Nemotron 3.5 Lightning, released on August 11 as a 30-billion-parameter open model for the execution layer of autonomous AI. Article summary: NVIDIA Nemotron 3.5 Lightning is best understood as a high-volume “worker” model for autonomous-agent systems: an open 30B-parameter MoE model that activates roughly 3B parameters per inference step, rather than a model . Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
openai.com
NVIDIA Nemotron 3.5 Lightning is geen algemene vervanger voor de grootste redeneermodellen. Het is vooral een gespecialiseerde uitvoeringsmotor voor autonome AI-agents: systemen die langdurig taken uitvoeren en daarbij voortdurend modellen aanroepen. NVIDIA bracht het model uit op 11 augustus 2026. Het heeft 30 miljard parameters in totaal, maar gebruikt per inferentiestap ongeveer 3 miljard actieve parameters.
Dat onderscheid is de sleutel tot Lightning. In een langlopende agent zit de lastigste stap vaak in het plannen van de workflow. Daarna volgen veel kleinere handelingen: tools aanroepen, velden uit documenten halen, beleid controleren, data omzetten en resultaten formatteren. Lightning is ontworpen om juist die uitvoeringslaag snel en relatief goedkoop af te handelen.
Wat is Nemotron 3.5 Lightning?
Lightning is een open Mixture-of-Experts-model (MoE) van 30 miljard parameters voor gespecialiseerde taken in continu actieve agents. NVIDIA omschrijft de Nemotron-familie als open wat betreft modelgewichten, trainingsdata en trainingsrecepten. Ontwikkelaars kunnen de modellen daardoor beoordelen en aanpassen voordat ze ze in productie inzetten.
Het model is beschikbaar in BF16- en NVFP4-formaat. De modelinformatie beschrijft daarnaast een hybride architectuur met state-space- of Mamba-achtige verwerking, attention en gerouteerde experts. Het doel daarvan is om de capaciteit van een groter model te bieden zonder bij ieder token het volledige netwerk te activeren.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "NVIDIA Nemotron 3.5 Lightning is de werkmotor voor AI-agents"?
NVIDIA bracht Nemotron 3.5 Lightning op 11 augustus 2026 uit als een open MoE model met 30 miljard totale en ongeveer 3 miljard actieve parameters, gericht op repetitieve taken van AI agents.
What are the key points to validate first?
NVIDIA bracht Nemotron 3.5 Lightning op 11 augustus 2026 uit als een open MoE model met 30 miljard totale en ongeveer 3 miljard actieve parameters, gericht op repetitieve taken van AI agents. De hybride architectuur, NVFP4 checkpoint en contextcapaciteit tot 1 miljoen tokens zijn bedoeld voor snelle inzet op lokale infrastructuur, in datacenters en via de cloud.
What should I do next in practice?
De meest logische toepassing is een model met twee niveaus: een groter model maakt het plan en neemt moeilijke beslissingen, terwijl Lightning toolaanroepen, extractie, controles en opmaak uitvoert.
De aanduidingen 30B en 3B actief verwijzen naar twee verschillende zaken:
30B totale parameters: de volledige verzameling aangeleerde parameters in het model.
Ongeveer 3B actieve parameters: het deel dat bij iedere stap voor het genereren van een token wordt gebruikt.
Door die schaarse activering kan Lightning qua totale capaciteit in een grotere modelklasse vallen, terwijl de rekenlast per gegenereerd token meer lijkt op die van een veel kleiner actief netwerk. De volledige modelgewichten moeten nog altijd worden opgeslagen en beheerd, maar de hoeveelheid berekening per token kan lager uitvallen.
Waarom Lightning voor de uitvoeringslaag is gebouwd
Autonome agents kunnen voor één opdracht tientallen of honderden modelaanroepen doen. Nadat een doel is geïnterpreteerd en een plan is gemaakt, volgen bijvoorbeeld herhaalde toolkeuzes, gestructureerde extractie, verificatie en het opmaken van antwoorden.
Een zeer groot model voor iedere afzonderlijke aanroep kan de wachttijd en operationele kosten verhogen. Lightning is bedoeld om het voorspelbare, veelvoorkomende deel van die workflow over te nemen. Een krachtiger model blijft beschikbaar voor onduidelijke situaties en beslissingen waarvoor diepere redenering nodig is.
Een representatieve opzet met twee modelniveaus ziet er zo uit:
Een groter redeneermodel interpreteert het doel en maakt een plan.
Lightning voert routinematige stappen uit met tools, documenten of gestructureerde data.
Het grotere model wordt opnieuw ingeschakeld wanneer onzekerheid, uitzonderingen of complexe redenering optreden.
NVIDIA positioneert Nemotron 3 Ultra — een MoE-model met 550 miljard totale en 55 miljard actieve parameters — juist voor frontier-redenering en orkestratie. Daarmee wordt het verschil met Lightning duidelijk.
De rol van NeMo Switchyard
De waarde van Lightning hangt deels af van de routering tussen modellen. Een agent moet kunnen bepalen welk model het meest geschikt is voor iedere stap, in plaats van elke aanvraag naar hetzelfde eindpunt te sturen.
NVIDIA’s NeMo Switchyard is een provideronafhankelijke routing-SDK. De software kan aanvragen representeren, beschikbare modeldoelen definiëren en de aanroep naar de gekozen provider of model-ID beheren. In de praktijk maakt dat een modelhiërarchie mogelijk: Lightning behandelt de routine, terwijl een groter model de uitzonderingen krijgt.
Dat is architectonisch belangrijk. Lightning komt waarschijnlijk het best tot zijn recht als onderdeel van een gerouteerd systeem met meerdere modellen, niet als losstaande chatbot voor iedere denktaak.
Efficiëntie en manieren om het model te gebruiken
Lightning wordt aangeboden met een contextcapaciteit tot 1 miljoen tokens. Dat kan relevant zijn voor agents die lange gesprekken bijhouden, grote documenten verwerken of gedurende een workflow veel taakcontext verzamelen. De praktisch bruikbare context en de prestaties hangen wel af van de gekozen serving-stack en configuratie.
Het NVFP4-checkpoint is bedoeld voor inferentie en gebruikt gespecialiseerde NVIDIA-kernels op ondersteunde GPU-generaties. NVIDIA noemt lokale infrastructuur, werkstations, datacenters en cloudomgevingen als inzetmogelijkheden. Het model is daarnaast beschikbaar via Hugging Face en gehoste diensten.
AWS meldt dat Nemotron 3.5 Lightning beschikbaar is via SageMaker JumpStart. AWS-klanten kunnen het model vanuit de SageMaker-console of met de Python-SDK implementeren. NVIDIA biedt daarnaast via de NIM-documentatie een afzonderlijke, gecontaineriseerde implementatieroute met specifieke vereisten voor besturingssysteem, CUDA, drivers en Docker.
De hardwareclaims moeten desondanks met enige voorzichtigheid worden gelezen. Een gequantiseerd checkpoint kan serveren praktischer maken, maar of uitvoering op één GPU haalbaar is, hangt af van onder meer het GPU-type, het geheugengebruik, de contextlengte, de gekozen quantisatie, batching en de servingsoftware. Uitspraken over exacte opslagbesparingen of brede ondersteuning van GeForce RTX-systemen zijn daarom niet automatisch op iedere laptop of desktop van toepassing. Controleer daarvoor de actuele modelkaart en implementatierecepten.
De snelheidsclaims hebben een belangrijke kanttekening
NVIDIA en AWS noemen voor gerichte agent-workloads tot vier keer hogere throughput en tot 30% snellere taakafronding. Dat zijn geen universele maatstaven voor modelintelligentie en ook geen garantie voor dezelfde prestaties in productie.
De werkelijke uitkomst kan veranderen door:
het model dat als vergelijking wordt gebruikt;
de GPU-generatie en geheugenconfiguratie;
batchgrootte en gelijktijdigheid;
de lengte van prompts en context;
de vertraging van tools en netwerkverbindingen;
de decodeerinstellingen; en
de foutmarge die voor de taak acceptabel is.
Teams doen er daarom goed aan Lightning te testen op de handelingen die voor hun agent tellen: extractienauwkeurigheid, betrouwbaarheid van toolaanroepen, naleving van gestructureerde output en de totale doorlooptijd. Tokens per seconde alleen vertellen niet het hele verhaal.
Prijs: aantrekkelijk, maar afhankelijk van de provider
Gehoste inferentie kan Lightning interessant maken voor toepassingen met een groot aantal modelaanroepen. DeepInfra vermeldt een prijs van 0,05 dollar per miljoen invoertokens en 0,20 dollar per miljoen uitvoertokens. Het gaat daar om gebruiksgebaseerde serverless-inferentie, zonder dat de gebruiker GPU-infrastructuur hoeft te beheren.
Die tarieven zijn geen vaste eigenschap van het model. Andere providers hanteren andere prijzen, en ook provider, precisie, caching en route kunnen de werkelijke kosten beïnvloeden. Bij een vergelijking met grotere modellen moet daarom de volledige workflow worden doorgerekend, inclusief herhaalde pogingen, toolaanroepen, routering en de verzoeken die alsnog naar een krachtiger model gaan.
Wat Lightning wel en niet is
Nemotron 3.5 Lightning laat zich het best omschrijven als een snelle, aanpasbare werkmodelvariant voor agent-systemen. Het ontwerp past vooral bij toepassingen die veel vergelijkbare aanroepen produceren en waarbij de taak gespecialiseerd, begrensd of verder getraind kan worden.
Het model wordt niet gepresenteerd als universele vervanger voor een groot orkestratiemodel. Complexe planning, onzeker oordeel en taken waarbij fouten kostbaar zijn, kunnen nog altijd een groter model vereisen, zoals Nemotron 3 Ultra of een ander frontier-systeem.
De praktische conclusie is helder: Lightning is vooral interessant als de snelle uitvoeringslaag in een gerouteerde agent-stack. De combinatie van 30 miljard totale parameters, ongeveer 3 miljard actieve parameters, open modelmaterialen, een optie voor gequantiseerde inferentie en meerdere implementatiepaden is gericht op goedkoper en sneller routinewerk. De aangekondigde winst is veelbelovend, maar moet vóór productiegebruik worden gevalideerd op de specifieke workflow van de agent.
developer.nvidia.com
Route AI Agents Across Models with NVIDIA NeMo ...
