NVIDIA Nemotron 3.5 Lightning er udførelsesmodellen til AI-agenter

Betegnelserne “30B” og “3B aktiv” beskriver to forskellige ting:

• 30B parametre i alt: Den samlede pulje af indlærte parametre i modellen.
• Omkring 3B aktive parametre: Den omtrentlige del af modellen, der bruges ved genereringen af hvert token.

Den sparsomme udførelse betyder, at Lightning kan ligge i en større modelklasse, men sigte mod et beregningsforbrug pr. genereret token, der minder mere om et langt mindre aktivt netværk. Det fjerner ikke behovet for at lagre og administrere hele modellen, men det kan reducere beregningsarbejdet under inferens.

Hvorfor er modellen rettet mod udførelseslaget?

Autonome agenter kan generere meget store mængder modelkald. Én overordnet opgave kan kræve gentagne valg af værktøjer, struktureret dataudtræk, kontrol af resultater og formatering af svar, efter at den første plan er lagt.

Hvis man bruger en meget stor model til hvert eneste kald, kan det øge både svartid og driftsomkostninger. Lightning er tænkt som modellen, der overtager den forudsigelige del af arbejdsgangen med høj frekvens, mens en mere kapabel model fortsat kan bruges til tvetydige beslutninger og krævende ræsonnering.

En typisk modelopdeling kan se sådan ud:

1. En større ræsonneringsmodel fortolker målet og udarbejder en plan.
2. Lightning udfører de rutineprægede trin mod værktøjer, dokumenter eller strukturerede data.
3. Den større model aktiveres igen, hvis arbejdsgangen støder på usikkerhed, undtagelser eller en beslutning, der kræver mere ræsonnering.

NVIDIA positionerer Nemotron 3 Ultra – en MoE-model med 550B parametre i alt og 55B aktive parametre – til avanceret ræsonnering og orkestrering. Det gør forskellen mellem de to modeller tydelig.

Sådan passer NeMo Switchyard ind

Lightning's værdi afhænger delvist af routing. En agent skal kunne afgøre, hvilken model der skal håndtere hvert trin, i stedet for at sende alle forespørgsler til det samme endepunkt.

NVIDIA's NeMo Switchyard er et leverandøruafhængigt routing-SDK, der kan repræsentere forespørgsler, definere modelmål og håndtere kald til den valgte leverandør eller model-ID. I praksis gør det det muligt at opbygge et modelhierarki, hvor Lightning tager sig af rutinekald, mens en større model modtager de tilfælde, der kræver mere kapacitet.

Det er et centralt arkitekturpunkt: Lightning er ikke nødvendigvis mest interessant som en isoleret chatbot-model. Dens stærkeste anvendelse er som én komponent i et routet agentsystem med flere modeller.

Effektivitet og muligheder for udrulning

Lightning annonceres med en kontekstkapacitet på op til 1 million tokens. Det er relevant for agenter, der vedligeholder lange samtaler, behandler store dokumenter eller gentagne gange arbejder med omfattende opgavestatus. Den praktisk anvendelige kontekst og ydeevnen afhænger dog af den konkrete serveringsløsning og konfiguration.

NVFP4-checkpointet er målrettet inferens og bruger specialiserede NVIDIA-kerner på understøttede GPU-generationer. NVIDIA angiver, at modellen kan bruges i lokal infrastruktur, på arbejdsstationer, i datacentre og i cloudmiljøer. Den er desuden tilgængelig via Hugging Face og hostede tjenester.

AWS oplyser, at Nemotron 3.5 Lightning kan tilgås gennem SageMaker JumpStart og udrulles via SageMaker-konsollen eller Python-SDK'et. NVIDIA's NIM-dokumentation beskriver en separat, containerbaseret udrulningsvej med specifikke krav til operativsystem, CUDA, drivere og Docker.

Hardwarehistorien bør dog læses med forbehold. Et kvantiseret checkpoint kan gøre servering mere praktisk, men om modellen kan køre på én GPU afhænger blandt andet af GPU-type, hukommelseskrav, kontekstlængde, kvantiseringsmetode, batching og den valgte serveringssoftware. Påstande om præcise reduktioner i lagerplads eller bred understøttelse af GeForce RTX bør derfor kontrolleres i det aktuelle modelkort og den relevante udrulningsopskrift frem for at blive generaliseret til enhver bærbar eller stationær computer.

NVIDIA's hastighedstal kræver en vigtig fodnote

NVIDIA og AWS annoncerer op til fire gange højere gennemløb og op til 30 procent hurtigere opgaveløsning for udvalgte agentarbejdsgange. Tallene er ikke universelle mål for modellens intelligens og er heller ikke en garanti for den samme ydeevne i produktion.

De faktiske resultater kan ændre sig afhængigt af:

• hvilken basismodel der sammenlignes med;
• GPU-generation og hukommelseskonfiguration;
• batchstørrelse og samtidighed;
• prompt- og kontekstlængde;
• latenstid ved værktøjskald og netværksforbindelser;
• dekoderingsindstillinger; og
• hvor mange fejl opgaven accepterer.

Lightning bør derfor evalueres på de operationer, der betyder noget for den konkrete agent – for eksempel nøjagtighed ved dataudtræk, pålidelighed i værktøjskald, overholdelse af strukturerede outputformater og samlet gennemløbstid – ikke kun på tal for tokens pr. sekund.

Prisen er attraktiv, men afhænger af leverandøren

Hostet adgang kan gøre Lightning interessant til inferens i stor skala. DeepInfra angiver en pris på 0,05 amerikanske dollar pr. million inputtokens og 0,20 dollar pr. million outputtokens. Tjenesten er brugsafregnet, uden at kunden selv skal administrere GPU-infrastruktur.

Priserne er ikke en permanent egenskab ved modellen. Andre leverandører angiver andre satser, og både leverandør, præcision, caching og routing kan påvirke den reelle pris. Ved sammenligninger med større modeller bør teams derfor beregne den samlede pris for hele arbejdsgangen – inklusive gentagne forsøg, værktøjskald, routing og de forespørgsler, der stadig kræver en mere kapabel model.

Hvad Lightning er – og ikke er

Nemotron 3.5 Lightning er bedst beskrevet som en hurtig og tilpasningsbar arbejdshest til agentsystemer. Modellen giver mening, når en applikation genererer mange ensartede kald, og når opgaven kan specialiseres, begrænses eller eftertrænes.

Den præsenteres ikke som en universel erstatning for en stor orkestreringsmodel. Kompliceret planlægning, usikre vurderinger og opgaver, hvor fejl er dyre, kan fortsat kræve en større model som Nemotron 3 Ultra eller et andet avanceret system.

Den praktiske konklusion er derfor enkel: Lightning giver mest mening som det hurtige udførelseslag i en routet agentstak. De 30B parametre i alt, cirka 3B aktive parametre, åbne modelmaterialer, muligheden for kvantiseret inferens og flere udrulningsveje er alle rettet mod at gøre rutinearbejde for AI-agenter billigere og hurtigere. De annoncerede forbedringer ser lovende ud, men bør valideres på den konkrete arbejdsgang, før de behandles som dokumenterede produktionsresultater.