Nvidia utvidet Nemotron-familien 15. oktober med tre modeller for AI-agenter: den store multimodale Nemotron 3.5 Super VL, den lokale Bolt 74B-A9B 24GB og den mindre Bolt E4B 4GB. Planen er å dekke både krevende agentarbeid i større systemer og oppgaver som kjøres lokalt på Nvidia-maskinvare.
7
11
Det er likevel forskjell på modellnavn og fullstendig teknisk dokumentasjon: Kildene oppgir konkrete spesifikasjoner for Super VL og Bolt 74B-A9B, men mindre om Bolt E4B.
Dette er kjent om modellene
| Modell |
Dokumenterte spesifikasjoner |
Bruksområde og tilgjengelighet |
| Nemotron 3.5 Super VL |
120 milliarder parametere totalt, med 12 milliarder aktive per token. En multimodal mixture-of-experts-modell for tekst og visuelt innhold. 3 |
Skal brukes til spesialiserte, kontinuerlig kjørende agenter og mer sammensatte arbeidsflyter. Nvidia oppgir at den er tilgjengelig. 7 |
| Nemotron 3.5 Bolt 74B-A9B 24GB |
Hybrid Mamba–Transformer-modell med mixture-of-experts-arkitektur. Den er utviklet for å passe i 24 GB minne og bruker 2-bits kvantisering. Nvidia oppgir en dekodingshastighet på minst 80 token per sekund. 13 |
For lokale agentoppgaver på Nvidia RTX og DGX Spark. Tilgjengelig fra 15. oktober. 7 13 |
| Nemotron 3.5 Bolt E4B 4GB |
Modellnavnet viser til E4B 4GB, men kildene gir ikke tilstrekkelig dokumentasjon til å fastslå parameterantall, minnekrav eller kvantisering hver for seg. |
Den mindre Bolt-modellen er varslet til 23. oktober. 7 11 |
Betegnelsen 74B-A9B viser til en modell med 74 milliarder parametere totalt og 9 milliarder aktive, ifølge modelloversikten fra Artificial Analysis.
16 For Super VL oppgir Nvidia opptil fem ganger høyere gjennomstrømming på én GPU for agentoppgaver enn andre åpne modeller i samme størrelseskategori. Dette er Nvidias egen sammenligning, ikke en garanti for samme utslag i alle oppsett.
3
Fra multimodale agentoppgaver til lokal kjøring
Super VL er laget for agenter som må bruke både tekst og visuelt materiale. Nvidia beskriver modellen som åpen og tilpassbar, med sikte på arbeidsflyter der agenten skal håndtere flere typer informasjon og oppgaver.
3 Selskapet sier også at virksomheter kan ettertrene modeller på egne data for å tilpasse dem til bestemte behov.
11
Bolt 74B-A9B har en annen vektlegging: Den er laget for å kjøre lokale agentoppgaver på RTX- og DGX Spark-systemer. Nvidia sier at modellen er komprimert fra den større Super VL og kvantisert til 2 bit for å få den inn i 24 GB minne.
13 Det gjør den aktuell for lokal kjøring, men sier ikke i seg selv hvilke resultater brukere vil få på hver enkelt maskin.
Hva betyr «åpen» her?
Nvidia omtaler modellene som åpne, men materialet som er tilgjengelig her, dokumenterer ikke nøyaktig hvilke modellvekter, datasett eller andre treningsressurser som følger med hver utgivelse. Derfor er det tryggere å si at Nvidia lanserer dem som åpne modeller enn å slå fast at alle deler av treningen og utviklingen er fullt åpne.
Nvidias dokumentasjon beskriver treningsstadier for Super-familien som forhåndstrening, veiledet finjustering, forsterkningslæring med verifiserbare belønninger, bruk av spesialistmodeller og evaluering.
6 Tallet 25 billioner treningstokener gjelder imidlertid den tidligere Nemotron 3 Super, og kan ikke uten videre overføres til de tre nye modellene.
4
Navan har tatt Super VL i bruk
Reiseselskapet Navan opplyste 16. oktober at de hadde tatt i bruk finjustert Super VL i flere AI-reiseagenter. Selskapet sier at modellen ga best samlet resultat i deres interne evaluering, med lavest forsinkelse og god effektivitet.
1 Navan framhever også selvdrift som en måte å få større kontroll over kvalitet, hastighet og effektivitet.
8
Dette er Navans egne resultater. Kildene gir ikke tilstrekkelig grunnlag for å oppgi en uavhengig sammenligning eller nøyaktige tall for kostnadsbesparelser og tidsbruk.
Kort oppsummert: Nvidia lanserer en stor modell for multimodale agentoppgaver og en mer komprimert Bolt-modell for lokal kjøring. Den tredje modellen, Bolt E4B 4GB, er varslet, men flere av spesifikasjonene det er naturlig å spørre etter, er ikke bekreftet i kildene ennå.