Cerebras CS-4 versus Nvidia: dit betekent de claim van 30 keer snellere AI-inferentie

De WSE-3 Turbo wordt beschreven als een overgeklokte versie van hetzelfde basisontwerp. Volgens de beschikbare berichtgeving behoudt de chip de 900.000 cores, 44 GB SRAM en het 5-nanometerproductieproces, terwijl de prestaties omhooggaan.

Specificaties van de WSE-3 Turbo en CS-4

Cerebras en berichtgeving rond de lancering noemen de volgende kerncijfers voor de CS-4:

• Drie WSE-3 Turbo-processors per rack
• 750 petaflops geadverteerde AI-rekenkracht per rack
• 129,6 PB/s geheugenbandbreedte per rack
• 7,2 Tb/s I/O-bandbreedte per rack
• 900.000 cores en 44 GB SRAM per processor
• Tot twee keer de snelheid per wafer van de vorige generatie, volgens Cerebras

The Register meldt dat de WSE-3 Turbo de sparse FP16-rekenkracht per wafer verhoogt van 125 naar 250 petaflops. De geheugenbandbreedte zou stijgen van 21,6 naar 43,2 PB/s en de I/O-bandbreedte van 1,2 naar 2,4 Tb/s. Voor dense FP16 noemt de publicatie 25 petaflops voor de Turbo-processor.

Deze getallen beschrijven theoretische of door de fabrikant gerapporteerde mogelijkheden. Ze zijn geen universele maatstaf voor applicatieprestaties. De maximale FLOPS van een rack vertalen zich niet automatisch naar een bepaald aantal tokens per seconde voor elk model of iedere servingconfiguratie.

Waarom Cerebras denkt GPU-clusters op latency te kunnen verslaan

GPU-systemen verdelen het werk van een model doorgaans over veel afzonderlijke processors. Dat kan goed schalen, maar vereist ook dat gegevens tussen chips worden verplaatst en dat berekeningen via geheugen- en netwerklagen worden gecoördineerd.

De wafer-scalebenadering van Cerebras plaatst een zeer groot aantal rekenkernen en een omvangrijk SRAM-netwerk op één processor. Cerebras zegt dat de WSE-3 rechtstreeks SRAM op de chip gebruikt, in plaats van het off-chip HBM-geheugen dat vaak met GPU's wordt geassocieerd. Het beoogde voordeel is minder communicatie-overhead tijdens decodering per token. Juist daarbij kan elke vertraging in geheugentoegang of synchronisatie de reactiesnelheid beïnvloeden.

Daarom is de CS-4 vooral interessant voor de snelheid die één gebruiker ervaart, bijvoorbeeld in interactieve toepassingen. Het gaat om een meer gespecialiseerde uitdaging voor Nvidia dan om het algemene bewijs dat wafer-scalesystemen voor iedere AI-workload beter zijn. Training, batchinferentie met hoge doorvoer, modelgrootte, geheugenbehoefte en softwarecompatibiliteit kunnen de uitkomst van de vergelijking veranderen.

Wat betekent ‘tot 30 keer sneller’ precies?

Cerebras promoot de CS-4 als een systeem dat tot 30 keer snellere inferentie levert dan GPU-systemen. In berichtgeving over de lancering wordt die vergelijking specifieker omschreven als tokens per seconde per gebruiker, niet als een algemene verbetering van 30 keer voor alle workloads.

Dat onderscheid is belangrijk. Een betrouwbare vergelijking tussen accelerators moet op zijn minst aangeven:

• welk model en hoeveel parameters zijn gebruikt;
• welk GPU-systeem als referentie diende;
• wat de batchgrootte en het aantal gelijktijdige gebruikers waren;
• hoe lang de invoercontext was;
• hoeveel tokens de uitvoer bevatte;
• welke precisie en kwantisatie zijn toegepast;
• of alleen prefill, alleen decoding of beide fasen zijn gemeten;
• en hoe stroomverbruik, hardwarekosten en exploitatiekosten zijn meegenomen.

De aangeleverde bronnen bevatten niet al deze gegevens in een reproduceerbare, onafhankelijk gecontroleerde vergelijking. De 30× moet daarom worden gezien als een claim van Cerebras die aan specifieke servingomstandigheden is gekoppeld, niet als een gegarandeerd voordeel ten opzichte van iedere Nvidia-implementatie.

De belangrijke kanttekening bij de FLOPS-cijfers: sparsity

Piekcijfers voor AI-rekenkracht kunnen extra misleidend zijn wanneer ze uitgaan van sparse berekeningen. Een analyse merkt op dat de genoemde 125 petaflops FP16 voor de WSE-3 een sparse waarde is, gebaseerd op een veronderstelde verhouding van 8:1 voor ongestructureerde sparsity. Voor dense FP16-berekeningen komt de analyse uit op ongeveer 15,625 petaflops.

Hetzelfde aandachtspunt geldt bij de gerapporteerde 250 sparse petaflops van de WSE-3 Turbo en de 25 dense petaflops. Sparse piekprestaties zijn relevant wanneer het model en de softwarestack het betreffende sparsitypatroon efficiënt kunnen benutten. Ze zeggen niet automatisch hoeveel doorvoer een dense LLM in de praktijk haalt.

Voor echte inferentie zijn eind-tot-eindlatency, het volgehouden aantal tokens per seconde, de doorvoer bij een vast aantal gelijktijdige gebruikers, het stroomverbruik en de kosten per gegenereerd token nuttiger meetpunten. Ook die resultaten kunnen variëren door de omvang van de KV-cache, modelparallelisme, batching, de verhouding tussen prefill en decoding, kwantisatie en de volwassenheid van de runtime.

Nexus-architectuur en beschikbaarheid

De CS-4 wordt beschreven als het eerste systeem met de Nexus-platformarchitectuur van Cerebras. Reuters meldde dat het rack in het derde kwartaal van 2026 beschikbaar zou komen, terwijl berichtgeving rond de lancering aangaf dat de eerste leveringen in het lopende kwartaal zouden beginnen.

De aangeleverde bronnen bieden onvoldoende basis om alle architectuurdetails uit de oorspronkelijke discussie te bevestigen. Zo zijn een modulaire ‘backpack’-uitvoering, een switchless 2D-torusverbinding, exacte specificaties voor koeling en stroomverbruik en een vastgelegd plan voor totale capaciteit niet onafhankelijk bevestigd. Zonder sterkere documentatie moeten deze punten niet als definitieve CS-4-specificaties worden gepresenteerd.

Partnerschappen met AWS en AMD

Cerebras heeft al een gedocumenteerde samenwerking met AWS rond gedisaggregeerde inferentie. In die opzet verzorgen AWS Trainium-systemen de prefillfase, terwijl Cerebras CS-3-systemen de decoding uitvoeren. De onderdelen zijn verbonden via Amazon Elastic Fabric Adapter (EFA) en worden aangeboden via Amazon Bedrock.

Dat is relevant omdat het laat zien dat de architectuur van Cerebras andere accelerators kan aanvullen, in plaats van ze simpelweg te vervangen. Prefill en decode hebben verschillende prestatiekenmerken. Een hybride systeem kan elke fase toewijzen aan de hardware die er het meest geschikt voor is.

De aangeleverde berichtgeving beschrijft ook een configuratie van AMD en Cerebras waarin AMD-GPU's de prefill uitvoeren en Cerebras-processors de decoding. Volgens leidinggevenden van Cerebras kan die combinatie de doorvoer vervijfvoudigen; de uitrol wordt verwacht in het vierde kwartaal van 2026. Dit zijn toekomstgerichte claims van het bedrijf, geen onafhankelijk geverifieerde resultaten uit productieomgevingen.

De bronnen bevestigen niet dat AWS of AMD zich heeft vastgelegd op een CS-4-implementatie met een specifieke omvang. Ze ondersteunen wel het bestaan van partnerschappen en geplande hybride inferentie, maar niet een gegarandeerde hogere doorvoer voor iedere klant.

Vervangt de CS-4 Nvidia?

Nog niet. De CS-4 vormt een geloofwaardige architectonische uitdaging in een smaller, maar waardevol segment: LLM-decoding met lage latency voor interactieve gebruikers. De wafer-scaleprocessor, SRAM op de wafer en hoge interne bandbreedte zijn ontworpen om communicatiekosten te beperken die ontstaan wanneer inferentie over veel losse GPU's wordt verdeeld.

De positie van Nvidia wordt echter niet alleen bepaald door piekcijfers van accelerators. Software-ecosystemen, ondersteuning voor modellen, beschikbaarheid, netwerkmogelijkheden, totale eigendomskosten en de mogelijkheid om veel verschillende modellen en workloads te bedienen zijn minstens zo belangrijk. Ook de 30×-claim vereist vergelijkbare benchmarks voordat die als algemene uitspraak over het verdringen van GPU's kan worden gebruikt.

De meest verdedigbare conclusie is dat de CS-4 het aantal serieuze opties voor AI-inferentie uitbreidt. Het systeem kan vooral aantrekkelijk zijn wanneer de tokensnelheid per gebruiker vooropstaat. Of het in een specifieke implementatie sneller of goedkoper is, hangt uiteindelijk af van de workload en de gekozen benchmarkmethode.