Nvidia har satt sin Groq 3 LPX-rackbaserte inferensakselerator i full produksjon. Kunngjøringen kom under Hot Chips 24. august, og systemet er utviklet for å fungere sammen med Vera Rubin NVL72 – særlig for å få AI-modeller til å generere svar raskere i interaktive tjenester.
26
I en test fra Artificial Analysis leverte Groq 3 LPX 3 400 utgående tokener i sekundet da Googles åpne Gemma 4 31B-modell ble kjørt med en kontekst på 100 000 tokener. Nvidia oppgir at resultatet var fire ganger raskere enn den nærmeste alternative plattformen for den aktuelle arbeidsbelastningen.
17
35
En akselerator for den delen brukeren faktisk merker
Groq 3 LPX er rettet mot AI-agenter, kodeassistenter og andre tjenester der lang kontekst må behandles uten at brukeren må vente lenge på svaret. Nvidia beskriver produktet som en interaktiv inferensakselerator for rask og forutsigbar tokengenerering.
19
26
For å forstå rollen til LPX er det nyttig å skille mellom to deler av inferens:
- Prefill behandler spørsmålet og konteksten som modellen skal lese.
- Decode lager selve svaret, én token om gangen.
LPX er først og fremst laget for å gjøre den andre fasen raskere. Vera Rubin NVL72 skal fortsatt være den mer fleksible plattformen for trening, bred inferens, behandling av lange kontekster og tjenester med høy gjennomstrømning.
34
Det betyr at Nvidia ikke presenterer Groq-teknologien som en fullstendig erstatning for GPU-infrastruktur. GPU-er kan brukes til mange typer akselerert databehandling, mens den Groq-baserte arkitekturen får ansvar for den delen av AI-tjenesten der lav responstid er spesielt viktig.
3 431 tokener i sekundet – men bare i én bestemt test
Det mest oppsiktsvekkende tallet var en median på 3 431 utgående tokener i sekundet i Artificial Analysis’ test med 100 000 tokener kontekst og Gemma 4 31B. Nvidia rundet tallet ned til 3 400 i sin egen kunngjøring.
17
Nvidia omtaler resultatet som fire ganger bedre respons enn den nærmeste alternative plattformen i dette scenarioet.
35 Det er imidlertid en arbeidsbelastningsspesifikk sammenligning, ikke et universelt mål på AI-ytelse.
Resultatet gjelder den testede modellen, kontekstlengden og oppsettet i benchmarken. I virkelige tjenester vil blant annet modellstørrelse, lengden på brukerens spørsmål, antall samtidige brukere, minne, nettverk og tiden som brukes på å lese den første konteksten påvirke opplevelsen.
Med andre ord: Høy tokengenerering kan gjøre et AI-svar mer direkte og responsivt, men sier ikke alene hvor godt eller rimelig hele systemet fungerer.
Nebius blir først ut
Nebius er den første annonserte AI-skyaktøren som skal ta Groq 3 LPX i bruk. Selskapet planlegger å integrere systemet i Token Factory, sin plattform for produksjonsbasert inferens, før utgangen av 2026.
2
Groq har også sagt at selskapet vil være blant de første kundene. Der skal LPX brukes sammen med Vera Rubin NVL72 i Groqs spesialbygde skyplattform for AI-inferens. Tanken er at Rubin-systemene håndterer den bredere infrastrukturen, mens LPX øker hastigheten på tokengenereringen i arbeidsbelastninger med mye kontekst.
18
En ny del av Vera Rubin-plattformen
Nvidia har plassert Groq 3 LPX som en sjuende sentral komponent i Vera Rubin-plattformen. Plattformen omfatter også Vera CPU-en, som Nvidia sier har 88 spesialutviklede Olympus-kjerner.
33
Vera CPU skal håndtere oppgaver rundt selve modellkjøringen, blant annet koordinering av AI-agenter, databehandling, verktøybruk og kodekjøring. Nvidia opplyste også at SpaceXAI planlegger å ta i bruk Vera CPU-er til neste generasjon agentbaserte AI-applikasjoner, samt et optimalisert Vera Rubin NVL72-system i en førstegenerasjons Starmind AI-satellitt.
40
Samlet peker dette mot Nvidias bredere strategi: å bygge såkalte AI-fabrikker av spesialiserte komponenter i stedet for å behandle alle oppgaver som et GPU-problem. I denne modellen koordinerer CPU-er agentarbeid, GPU-er håndterer fleksibel storskala databehandling, og LPX fokuserer på rask og forutsigbar generering av svar.
Hva innebar egentlig Groq-avtalen på 20 milliarder dollar?
Lanseringen er det tydeligste produktresultatet så langt fra avtalen Nvidia inngikk med Groq i desember 2025. Men det blir misvisende å omtale avtalen som et ordinært oppkjøp av hele Groq.
Tilgjengelig rapportering beskriver en ikke-eksklusiv lisens til Groqs inferensteknologi, kombinert med at Nvidia hentet inn Groq-grunnlegger og toppsjef Jonathan Ross, president Sunny Madra og andre nøkkelmedarbeidere.
4
8
Groq fortsatte å operere etter avtalen og hentet senere mer kapital. Det passer bedre med en avtale om teknologi og nøkkelpersonell enn med et fullstendig kjøp av det operative selskapet.
3
Avtalestrukturen forklarer også hvorfor Groq 3 LPX både er et Nvidia-produkt og noe Groq selv planlegger å bruke. Nvidia har bygget Groqs språkprosesseringsteknologi inn i sin egen rackplattform, mens Groq fortsatt opererer som et uavhengig selskap og vil bruke den nye Nvidia-maskinvaren i sin egen sky.
Det strategiske poenget
Det viktigste Nvidia annonserte, er ikke bare enda en AI-brikke. Selskapet forsøker å dele opp AI-tjenesten i ulike faser og gi den mest tidskritiske fasen en egen akselerator.
For interaktive AI-agenter kan raskere decode gjøre flertrinnsoppgaver merkbart mer responsive. Benchmarken viser et kraftig resultat i én konfigurasjon med lang kontekst, men den virkelige testen blir om LPX kan levere tilsvarende fordeler i tilgjengelige skytjenester og i flere typer arbeidsbelastninger.
Full produksjon, Nebius’ planlagte utrulling og Groqs egen bruk vil derfor være viktigere enn selve rekordtallet når markedet skal vurdere om Groq 3 LPX faktisk flytter grensene for AI-inferens.