Nvidia har ved Hot Chips den 24. august annonceret, at rack-systemet Groq 3 LPX er gået i fuld produktion. Acceleratoren er udviklet til at arbejde sammen med Vera Rubin NVL72 og skal især gøre den del af AI-inferens, der genererer selve svaret, hurtigere.
26
I en Artificial Analysis-test nåede Groq 3 LPX en median på 3.431 outputtokens i sekundet, da systemet kørte Googles open source-model Gemma 4 31B med en kontekst på 100.000 tokens. Nvidia rundede resultatet til 3.400 tokens i sekundet og oplyste, at det var fire gange hurtigere end den nærmeste alternative platform i den pågældende test.
17
35
Hvad skal Groq 3 LPX bruges til?
LPX er målrettet AI-agenter, kodeassistenter og andre interaktive tjenester, hvor brugeren hurtigt skal kunne se et svar – også når modellen arbejder med meget lange tekstkontekster. Nvidia beskriver den som en inferensaccelerator til forudsigelig og hurtig token-generering med lav latenstid.
19
26
For at forstå arbejdsdelingen er det nyttigt at skelne mellem to faser i inferens:
- Prefill behandler brugerens prompt og den tilhørende kontekst.
- Decode genererer svaret ét token ad gangen.
Groq 3 LPX er først og fremmest optimeret til decode-fasen. Vera Rubin NVL72 skal fortsat være den mere fleksible platform til blandt andet træning, bred inferens, behandling af lange kontekster og høj samlet gennemstrømning.
34
Nvidia præsenterer derfor LPX som et supplement til GPU-infrastrukturen – ikke som en fuldstændig erstatning. GPU’er kan håndtere mange forskellige former for accelereret databehandling, mens den Groq-baserede arkitektur får ansvaret for den del af AI-driften, hvor svartiden er afgørende.
Benchmarkresultatet har en vigtig begrænsning
Det opsigtsvækkende tal var 3.431 outputtokens i sekundet i Artificial Analysis’ benchmark med 100.000 tokens kontekst og Gemma 4 31B. Nvidia angav selv resultatet som 3.400 tokens i sekundet i sin annoncering.
17
Sammenligningen er dog knyttet til en bestemt model, kontekstlængde og testopsætning. Den er derfor ikke et universelt mål for AI-ydelse. Nvidias påstand om fire gange højere hastighed gælder netop den testede arbejdsmængde og den nærmeste alternative platform i samme scenarie.
35
I praksis afhænger brugeroplevelsen også af blandt andet modellens størrelse, promptens længde, antallet af samtidige brugere, hukommelse, netværk og den tid, det tager at behandle den indledende kontekst. Hurtigere token-generering er altså kun én del af det samlede inferensregnestykke.
Nebius bliver første annoncerede kunde
AI-cloududbyderen Nebius er den første annoncerede kunde. Selskabet vil integrere Groq 3 LPX i Nebius Token Factory, en platform til inferens i produktion, inden udgangen af 2026.
2
Groq har samtidig oplyst, at virksomheden selv bliver blandt de første brugere. Planen er at installere LPX sammen med Vera Rubin NVL72 i Groqs specialbyggede cloud til AI-inferens.
18
Den tiltænkte arbejdsdeling er enkel: Rubin-systemerne leverer de bredere platformfunktioner, mens LPX øger hastigheden på token-genereringen i arbejdsbelastninger med lange kontekster.
En ny del af Vera Rubin-platformen
Nvidia har placeret Groq 3 LPX som den syvende større komponent i Vera Rubin-platformen. En anden central del er Vera-processoren, som ifølge Nvidia har 88 specialdesignede Olympus-kerner.
33
Vera CPU’en er beregnet til arbejdet omkring selve modelkørslen, herunder orkestrering, databehandling, brug af værktøjer og kodekørsel. Nvidia har desuden oplyst, at SpaceXAI planlægger at bruge Vera-processorer til kommende AI-agent-systemer og en optimeret Vera Rubin NVL72-konfiguration i sin første Starmind AI-satellit.
40
Tilsammen viser lanceringerne Nvidias bredere strategi: AI-fabrikker skal bygges af specialiserede komponenter frem for at behandle alle arbejdsopgaver som et GPU-problem. I den model koordinerer CPU’er agenternes arbejde, GPU’er håndterer fleksibel storskala-beregning, og LPX fokuserer på hurtig og forudsigelig generering af svar.
Hvad indebar aftalen på 20 milliarder dollar med Groq?
Groq 3 LPX er det hidtil tydeligste produktresultat af Nvidias aftale med Groq fra december 2025. Det er dog misvisende at beskrive aftalen som et almindeligt opkøb af hele Groq.
De tilgængelige oplysninger beskriver en ikke-eksklusiv licens til Groqs inferensteknologi kombineret med, at Nvidia ansatte Groqs grundlægger og administrerende direktør Jonathan Ross, præsident Sunny Madra samt andre nøglemedarbejdere.
4
8
Groq fortsatte med at operere efter aftalen og rejste senere yderligere finansiering. Det peger på en aftale om teknologi og talent snarere end et køb af hele den aktive virksomhed.
3
Strukturen forklarer også produktets positionering: Nvidia har indarbejdet Groqs teknologi til sprogbehandling i sin egen rack-platform, mens Groq fortsat eksisterer som selvstændig virksomhed og planlægger at bruge den resulterende Nvidia-hardware i sin cloud.
Det strategiske signal
Det vigtigste ved annonceringen er ikke blot, at Nvidia har lanceret endnu en AI-chip. Det er, at virksomheden opdeler AI-tjenestens forskellige faser og giver den mest latensfølsomme del til en dedikeret accelerator.
For interaktive AI-agenter kan hurtigere decode få flertrinsopgaver til at føles mere responsive. Nvidias benchmark viser en markant fordel i én konfiguration med lang kontekst, men den reelle gevinst vil afhænge af den enkelte applikation og resten af infrastrukturen.
At LPX nu er i fuld produktion, samt de planlagte installationer hos Nebius og Groq, bliver derfor en vigtigere prøve end selve benchmarktallet: De skal vise, om ydelsesfordelen kan omsættes til bredt tilgængelig cloud-kapacitet.