Cerebras CS-4 vastaan Nvidia: mitä 30-kertainen nopeuslupaus kertoo?

Cerebras haastaa Nvidian tekoälyinfrastruktuurin kaupallisesti tärkeässä osassa: inferenssissä, eli valmiiksi koulutetun mallin tuottamien vastausten laskennassa. Yhtiön uusi CS-4 on räkkitason järjestelmä, jossa on kolme WSE-3 Turbo -prosessoria. Cerebrasin mukaan se voi tuottaa yksittäiselle käyttäjälle tokeneita jopa 30 kertaa nopeammin kuin GPU-pohjaiset järjestelmät.

Lupaus tekee CS-4:stä kiinnostavan vaihtoehdon viiveherkkiin chatbot- ja suurten kielimallien käyttötapauksiin. Se ei kuitenkaan osoita, että Cerebras voisi yleisesti korvata Nvidian. Saatavilla oleva näyttö tukee järjestelmän keskeisiä teknisiä tietoja ja käyttötarkoitusta, mutta useita yksityiskohtaisia arkkitehtuuri- ja tiekarttaväitteitä ei ole voitu riippumattomasti varmistaa.

Mikä Cerebras CS-4 on?

CS-4 ei ole perinteinen palvelin, johon on asennettu suuri määrä erillisiä kiihdytinkortteja. Se on koko räkin kattava inferenssialusta, joka käyttää kolmea wafer-mittakaavan WSE-3 Turbo -sirua. Sen kohteena ovat tekoälysovellukset, joissa nopea ja tasainen tokenien tuotanto on tärkeää.

Järjestelmä perustuu WSE-3-arkkitehtuuriin. WSE-3:ssa on raportoitu olevan 4 biljoonaa transistoria, 900 000 tekoälylle optimoitua laskentaydintä ja 44 gigatavua sirun sisäistä SRAM-muistia. Tekninen vertailu ilmoittaa aiemmalle WSE-3:lle 125 petaflopsin huippulaskentatehon ja 21 petatavua sekunnissa olevan muistiväylän.

WSE-3 Turboa kuvataan saman perusrakenteen ylikellotetuksi versioksi. Saatavilla olevien tietojen mukaan siinä säilyvät 900 000 ydintä, 44 gigatavua SRAM-muistia ja 5 nanometrin valmistusprosessi, mutta käyttötaajuutta ja suorituskykyä on nostettu.

WSE-3 Turbon ja CS-4:n keskeiset luvut

Cerebrasin julkistuksessa ja tuotetta käsittelevissä raporteissa CS-4:lle ilmoitetaan seuraavat luvut:

• Kolme WSE-3 Turbo -prosessoria räkkiä kohden
• 750 petaflopsia ilmoitettua tekoälylaskentaa räkkiä kohden
• 129,6 petatavua sekunnissa muistiväylän kaistanleveyttä räkkiä kohden
• 7,2 terabittiä sekunnissa I/O-kaistanleveyttä räkkiä kohden
• 900 000 ydintä ja 44 gigatavua SRAM-muistia prosessoria kohden
• Cerebrasin mukaan jopa kaksinkertainen nopeus edelliseen sukupolveen verrattuna waferia kohden

The Registerin vertailun mukaan WSE-3 Turbo kasvattaa waferin harvaa FP16-laskentaa 125 petaflopsista 250 petaflopsiin, muistiväylän 21,6 petatavusta 43,2 petatavuun sekunnissa ja I/O-kaistanleveyden 1,2 terabitistä 2,4 terabittiin sekunnissa. Raportissa Turbon tiheäksi FP16-laskentatehoksi ilmoitetaan 25 petaflopsia.

Nämä ovat teoreettisia tai valmistajan ilmoittamia enimmäislukuja, eivät yleispätevä mittari sovellusten todelliselle suorituskyvylle. Räkin huippu-FLOPSien määrä ei muutu suoraan tokeneiksi sekunnissa jokaisella mallilla tai palvelukonfiguraatiolla.

Miksi Cerebras uskoo voivansa päihittää GPU-klusterit viiveessä?

GPU-järjestelmissä mallin laskenta jaetaan yleensä monelle erilliselle prosessorille. Menetelmä skaalautuu tehokkaasti, mutta samalla dataa on siirrettävä sirujen välillä ja laskentaa koordinoitava muisti- ja verkkokerrosten kautta.

Cerebrasin wafer-mittakaavan lähestymistavassa erittäin suuri määrä laskentaytimiä ja SRAM-muistia on samalla prosessorilla. Yhtiön mukaan WSE-3 käyttää suoraan sirulla olevaa SRAM-muistia eikä turvaudu GPU-järjestelmille tyypilliseen sirun ulkopuoliseen HBM-muistiin. Tavoitteena on vähentää viestinnän kustannuksia tokeni kerrallaan tapahtuvassa dekoodauksessa, jossa jokainen uusi token voi olla herkkä muistin käyttöön ja synkronointiin liittyville viiveille.

Tämän vuoksi CS-4 vaikuttaa kiinnostavimmalta tilanteissa, joissa ratkaisevaa on yhden käyttäjän saama vastausnopeus. Se on Nvidialle kohdistettu erikoistuneempi haaste kuin väite siitä, että wafer-mittakaavan järjestelmät olisivat parempia kaikissa tekoälytehtävissä. Koulutus, eräajona tehtävä inferenssi, mallin koko, muistivaatimukset ja ohjelmistoyhteensopivuus voivat muuttaa vertailun tuloksen.

Mitä ”jopa 30 kertaa nopeampi” tarkoittaa?

Cerebras markkinoi CS-4:ää jopa 30 kertaa GPU-järjestelmiä nopeampana inferenssiratkaisuna. Julkistusta käsittelevissä jutuissa vertailu määritellään tarkemmin muodossa tokeneita sekunnissa käyttäjää kohden, ei yleisenä 30-kertaisena parannuksena kaikissa työkuormissa.

Ero on olennainen. Luotettava kiihdytinvertailu edellyttää vähintään seuraavien tietojen ilmoittamista:

• käytetty malli ja sen parametrimäärä
• vertailussa käytetty GPU-järjestelmä
• eräkoko ja samanaikaisten käyttäjien määrä
• syötteen kontekstin pituus
• tuotetun vastauksen pituus
• laskennan tarkkuus ja kvantisointi
• mitataanko esitäyttöä, dekoodausta vai molempia
• sähkön, laitteiston ja käytön kustannukset

Toimitettu näyttö ei sisällä kaikkia näitä tietoja toistettavaa ja riippumattomasti auditoitua vertailua varten. Siksi 30-kertaista lukua on syytä pitää Cerebrasin tiettyihin palveluolosuhteisiin liittämänä yhtiön väitteenä, ei varmana etuna jokaiseen Nvidia-käyttöönottoon nähden.

FLOPS-lukuihin liittyvä harvuusvaroitus

Huippulaskentateho voi antaa erityisen ruusuisen kuvan silloin, kun luku perustuu harvaan laskentaan. Erään analyysin mukaan WSE-3:n 125 petaflopsin FP16-luku on harva luku, joka perustuu oletukseen 8:1-suhteen strukturoimattomasta harvuudesta. Analyysin arvio tiheälle FP16-laskennalle on noin 15,625 petaflopsia.

Sama seikka on huomioitava WSE-3 Turbon ilmoitetussa 250 petaflopsin harvassa laskennassa ja 25 petaflopsin tiheässä laskennassa. Harva huippusuorituskyky on hyödyllinen vain, jos malli ja ohjelmistopino pystyvät hyödyntämään kyseistä harvuusrakennetta tehokkaasti. Se ei automaattisesti kuvaa tiheän suuren kielimallin läpimenoa.

Käytännön inferenssissä hyödyllisempiä mittareita ovat päästä päähän mitattu viive, jatkuva tokeninopeus, läpimeno määritellyllä samanaikaisten käyttäjien määrällä, sähkönkulutus ja yhden tuotetun tokenin hinta. Tuloksiin vaikuttavat myös KV-välimuistin koko, mallin rinnakkaisuus, eräajo, esitäytön ja dekoodauksen suhde, kvantisointi sekä ajoympäristön kypsyys.

Nexus-arkkitehtuuri ja käyttöönoton aikataulu

CS-4:n kuvataan olevan ensimmäinen Cerebrasin uuden Nexus-alusta-arkkitehtuurin varaan rakennettu järjestelmä. Reutersin mukaan räkin odotettiin tulevan saataville vuoden 2026 kolmannella neljänneksellä, kun taas julkistusta koskevissa tiedoissa ensimmäisten toimitusten kerrottiin alkavan kuluvalla neljänneksellä.

Toimitetut lähteet eivät kuitenkaan mahdollista kaikkien alkuperäisessä keskustelussa esitettyjen arkkitehtuuriväitteiden vahvistamista. Erityisesti modulaarista niin sanottua ”reppu”-rakennetta, kytkimetöntä 2D-toruskytkentää, räkin täsmällisiä jäähdytys- ja teho-ominaisuuksia tai sitovaa kokonaiskapasiteettisuunnitelmaa ei ole vahvistettu riittävällä dokumentaatiolla. Niitä ei siksi pidä esittää CS-4:n varmistettuina teknisinä tietoina.

AWS- ja AMD-kumppanuudet

Cerebrasilla on dokumentoitu AWS-yhteistyö, joka keskittyy hajautettuun inferenssiin. Tässä mallissa AWS:n Trainium-järjestelmät hoitavat esitäytön ja Cerebrasin CS-3-järjestelmät dekoodauksen. Komponentit yhdistetään Amazonin Elastic Fabric Adapter -verkkoteknologialla, ja palvelu on tarkoitus tarjota Amazon Bedrockin kautta.

Yhteistyö on merkittävä siksi, että se osoittaa Cerebrasin arkkitehtuurin voivan täydentää muita kiihdyttimiä sen sijaan, että sen täytyisi korvata ne. Esitäytön ja dekoodauksen suorituskykyvaatimukset poikkeavat toisistaan, joten hybridijärjestelmä voi antaa kummankin vaiheen sille parhaiten sopivalle laitteistolle.

Toimitetun raportoinnin mukaan AMD:n ja Cerebrasin kokoonpanossa AMD:n GPU:t hoitaisivat esitäytön ja Cerebrasin prosessorit dekoodauksen. Cerebrasin johtajien mukaan järjestely voisi kasvattaa läpimenoa viisinkertaiseksi, ja käyttöönottoa odotetaan vuoden 2026 viimeisellä neljänneksellä. Kyse on yhtiön tulevaisuuteen suuntautuvista väitteistä, ei riippumattomasti vahvistetuista tuotantotuloksista.

Saatavilla oleva näyttö ei osoita, että AWS tai AMD olisi sitoutunut tietyn laajuiseen CS-4-käyttöönottoon. Lähteet tukevat kumppanuuksia ja suunniteltua hybridinferenssiä, mutta eivät takaa tiettyä läpimenon kasvua jokaiselle asiakkaalle.

Korvaako CS-4 Nvidian?

Ei ainakaan vielä. CS-4 on uskottava arkkitehtuurinen haaste rajatummassa mutta arvokkaassa segmentissä: vuorovaikutteisten käyttäjien tarvitsemassa vähäviiveisessä kielimallien dekoodauksessa. Wafer-mittakaavan prosessori, sirun sisäinen SRAM-muisti ja suuri sisäinen kaistanleveys on suunniteltu vähentämään viestintäkustannuksia, joita syntyy inferenssin jakamisesta monelle erilliselle GPU:lle.

Nvidian asema ei kuitenkaan ratkea pelkillä kiihdytinten huippuluvuilla. Ohjelmistoekosysteemi, mallien tuki, saatavuus, verkkotekniikka, kokonaiskustannukset ja kyky palvella monenlaisia malleja ja työkuormia ovat yhtä tärkeitä. Myös Cerebrasin 30-kertainen väite tarvitsee yhdenmukaiset vertailutestit, ennen kuin sitä voidaan käyttää yleisenä osoituksena GPU-järjestelmien syrjäyttämisestä.

Varovaisin ja perustelluin johtopäätös on, että CS-4 lisää tekoälyinferenssin kilpailuvaihtoehtoja. Se voi olla erityisen houkutteleva, kun tärkeintä on käyttäjäkohtainen tokeninopeus. Se, onko se tietyssä käyttöönotossa nopeampi tai edullisempi, riippuu kuitenkin työkuormasta ja vertailumenetelmästä.