Nvidia kunngjorde 24. august, under Hot Chips, at Groq 3 LPX er gått inn i full produksjon. Den nye rackbaserte akseleratoren er utviklet for den delen av AI-inferens som brukerne merker best: hvor raskt modellen begynner å produsere neste token og fortsetter svaret.
LPX blir en del av Nvidia Vera Rubin-plattformen og er laget for AI-agenter med lange kontekster og mange trinn. Den skal arbeide sammen med Vera Rubin NVL72-systemer, som fortsatt håndterer mer fleksible og omfattende oppgaver som trening, innlesing av kontekst og generell inferens.
3
6
3 431 tokens per sekund i test
Nvidia viste til en Artificial Analysis-benchmark der Groq 3 LPX kjørte Googles åpne Gemma 4 31B-modell med en kontekst på 100 000 tokens. Resultatet var 3 431 utdata-tokens per sekund – rundet ned til 3 400 i Nvidias egen kunngjøring.
1
6
Nvidia hevder at dette gir fire ganger raskere respons enn den nærmeste alternative plattformen i denne typen lange og forsinkelsesfølsomme arbeidslaster.
6
Det viktige her er forskjellen mellom å lese og behandle en stor mengde informasjon og å generere selve svaret. Vera Rubin-systemene kan håndtere den brede arbeidsflyten, mens LPX er spesialisert på dekoding – altså rask og forutsigbar produksjon av token etter token. Det er særlig relevant for AI-agenter som må svare, bruke verktøy og gå gjennom flere steg uten lange pauser.
3
6
En ny del av Vera Rubin
Nvidia omtaler Groq 3 LPX som den sjuende sentrale brikken i Vera Rubin-plattformen. Den kommer i tillegg til blant annet Vera-prosessoren, som har 88 spesialutviklede Olympus-kjerner, og Rubin-GPU-ene.
2
Selskapets strategi er å bygge såkalte AI-fabrikker der ulike brikker optimaliseres for ulike deler av arbeidslasten: GPU-er og Rubin-systemer til fleksibel, storskala databehandling, og LPX til den interaktive token-genereringen som avgjør hvor responsiv en AI-agent oppleves.
3
6
Nebius blir første AI-skykunde
Nebius er annonsert som den første AI-skyaktøren som tar i bruk Groq 3 LPX. Selskapet planlegger å integrere akseleratoren i Token Factory-plattformen for produksjonsinferens.
6
Groq sier samtidig at selskapet selv blir blant de første kundene og vil distribuere LPX sammen med Vera Rubin NVL72 i sin spesialiserte AI-inferenssky.
4
Nvidia kjøpte ikke nødvendigvis Groq
Premisset om at Nvidia «kjøpte Groq» trenger en presisering. Tilgjengelig rapportering beskriver en avtale verdsatt til 20 milliarder dollar der Nvidia fikk lisensiere Groqs teknologi og hentet inn grunnlegger Jonathan Ross, president Sunny Madra og andre sentrale medarbeidere. Det var ikke nødvendigvis et direkte oppkjøp av hele selskapet. Groq fortsatte senere virksomheten og hentet inn ny finansiering.
5
Det finnes heller ikke tilstrekkelig dokumentasjon i materialet her for konkrete påstander om 256 brikker per rack, 500 MB innebygd SRAM per brikke, produksjon hos Samsung i motsetning til TSMC-produksjon av GPU-er, eller bestemte svar fra AMD, Cerebras eller OpenAI.
Materialet støtter at SpaceXAI planlegger å bruke Vera-prosessorer til agentbaserte AI-applikasjoner, men dokumenterer ikke de mer detaljerte påstandene om verktøykjøring, simulering mellom satellitter eller nøyaktig omfang og tidspunkt for en slik utrulling.
7