Huawei panostaa kytkentöihin: voiko UnifiedBus tehostaa jättimäisiä tekoälyklustereita?

Huawein vastikään julkistama tekoälyinfrastruktuuri perustuu ajatukseen, että hyvin suurissa klustereissa tehokkuutta ei rajoita ensisijaisesti kiihdyttimien laskentakyky. Pullonkaulaksi voi nousta parametrien, aktivaatioiden, välimuistien ja muistihakujen siirtely tuhansien prosessorien välillä. Atlas 960E SuperPoD, Ascend 960 -tuoteperhe ja UnifiedBus-kytkentärakenne ovat Huawein vastaus tähän ongelmaan. Suorituskyky- ja energiatehokkuusluvut ovat kuitenkin Huawein omia tuotetason väitteitä, eivät riippumattomasti varmennettuja vertailutuloksia. 918

Tavoitteena klusteri, joka toimii vähemmän erillisten palvelinten joukkona

Tavanomaisessa suurklusterissa suorittimet, kiihdyttimet, tallennus ja muisti ovat usein erillisiä resursseja, joita yhdistetään useilla protokollilla. Huawein mukaan UnifiedBus kokoaa yli kymmenen kytkentäprotokollaa yhden protokollan ja muistin semantiikan alle. Sen on tarkoitus mahdollistaa suora vertaispääsy suorittimien, NPU-kiihdyttimien, muistin ja SSD-asemien välillä. 18

Käytännön tavoite on vähentää odottelua. Sen sijaan, että dataa kopioitaisiin jatkuvasti tai sen siirtoa koordinoitaisiin erillisten solmujen välillä, ohjelmisto voisi käsitellä SuperPoD-järjestelmän muistia yhtenäisen globaalin osoiteavaruuden kautta. Ajatuksena on tehdä hajautetusta muistista käyttökelpoisempi yhteinen resurssi silloin, kun malli ja sen väliaikainen data eivät mahdu yhden kiihdyttimen paikalliseen muistiin. 18

Huawei väittää nostavansa kytkentäkapasiteetin noin 100 GB/s:n tasolta teratavujen sekuntivauhtiin ja pienentävänsä meno–paluulatenssin noin 7 mikrosekunnista 2 mikrosekuntiin. Kyse on Huawein tavoittelemalle UnifiedBus-arkkitehtuurille ilmoitetuista luvuista, ei yleispätevästä, riippumattomasti testatusta vertailusta kilpailijoihin. 18

Atlas 960E: lähelle paketoitua optiikkaa SuperPoD-mittakaavassa

Atlas 960E SuperPoD yhdistää tulevat Ascend 960 -prosessorit, UnifiedBus-väylän ja Huawein Hi-ONE-lähelle paketoidun optiikan eli NPO-ratkaisun (near-packaged optics). Huawei kuvaa täysin nestejäähdytettyä järjestelmää NPO-pohjaiseksi SuperPoDiksi, joka on tarkoitettu jopa 10 biljoonan parametrin mallien opetus- ja päättelyajoihin. 9

Järjestelmän ilmoitettu kärkimääritys on 4 096 NPU:ta yhtenäisellä muistin osoitteistuksella. Huawei lupaa sille 8 EFLOPSin FP8-suorituskyvyn tai 16 EFLOPSin FP4-suorituskyvyn. 9

Lähelle paketoitu optiikka on suunnitelmassa keskeinen, koska sähköisten yhteyksien skaalaaminen vaikeutuu kaistanleveyksien ja klusterikoon kasvaessa. Huawein mukaan yksi Hi-ONE-optinen moottori tarjoaa 7,2 Tbit/s:n siirtonopeuden. Yhtiö arvioi, että 4 096 NPU:n järjestelmässä noin 5 500 Hi-ONE-moottoria voisi korvata noin 48 000 perinteistä 800G-optiikkamoduulia. Tämän väitetään pienentävän tehonkulutusta yli 550 kW:lla ja nostavan käytettävyyden 99,8 prosenttiin. Nämä ovat Huawein omia ennusteita suunnittelemalleen toteutukselle. 9

Rakennuspalikat pienemmistä kokonaisuuksista superklustereihin

Huawei on määritellyt tuotteita klusterin eri fyysisille tasoille:

• LinkBlade on kaapeliton UnifiedBus-komponentti saman kaapin sisäisiin yhteyksiin. Huawein mukaan se poistaa kaapeloinnin aiheuttamia piirihäviöitä ja voisi vähentää noin 196 kilometriä kuparikaapelia 4 096 NPU:n SuperPoD-kokoonpanossa. 18
• LinkDevice on tarkoitettu kaappien väliseen optiseen kytkentään. Huawei ilmoittaa sille 176 kappaletta 1,6 Tbit/s:n portteja, 280 Tbit/s:n kokonaiskaistanleveyden ja parhaimmillaan 2 mikrosekunnin meno–paluulatenssin. 18
• UBG-kytkimet muodostavat suunnitelman mukaan klusteritason kerroksen, jolla SuperPoD-kokonaisuuksia yhdistetään. Huawei arvioi topologiansa skaalautuvan 512 000 NPU:hun kaksitasoisessa, nelitasoisessa Clos-verkossa ja miljoonaan NPU:hun moniraiteisella topologialla. Luvut ovat arkkitehtuurin skaalautuvuustavoitteita, eivät näyttöä käytössä olevista miljoonan NPU:n klustereista. 18

Niille organisaatioille, jotka eivät tarvitse valtavaa SuperPoDia, Huawei tarjoaa Atlas 650E -järjestelmää. Se on pienempi 16 NPU:n täyden verkon kokoonpano, joka perustuu UnifiedBus Link 2.0:aan. Huawei ilmoittaa enimmillään 4,0 TB/s:n sirunsisäisen muistin luku- ja kirjoituskaistanleveyden sekä 13,4 TB/s:n UB Link -kaistanleveyden 16 NPU:n palvelinta kohden. 20

Ascend 960 -aikataulu: opetus- ja päättelyversiot vuonna 2027

Huawei kertoo Ascend 960:n kehityksen ylittäneen sen odotukset ja suunnitellun suorituskyvyn kaksinkertaistuneen. Väitteelle ei kuitenkaan ole julkaistu riippumattomaan arviointiin riittäviä vertailutietoja. 11

Ilmoitettu aikataulu on seuraava:

• Ascend 960DT, joka on suunnattu dekoodaukseen ja mallien opetukseen: vuoden 2027 ensimmäinen neljännes, kolme neljännestä Huawein aiempaa tiekarttaa edellä. 111
• Ascend 960PR, joka on suunnattu esitäyttöön (prefill) sekä suositus- ja päättelylaskentaan: vuoden 2027 kolmas neljännes, yhden neljänneksen aiempaa suunnitelmaa edellä. 111

Huawei on lisäksi kertonut aiemman sukupolven Atlas 950 SuperPod -järjestelmien olevan jo laajassa kaupallisessa käytössä. Tätä ei pidä sekoittaa Atlas 960E -laitteiden käyttöönottoon, joka on sidottu tulevaan Ascend 960 -sukupolveen. 39

Miten UnifiedBus suhteutuu NVLinkiin ja avoimiin kytkentähankkeisiin?

UnifiedBus kannattaa ymmärtää Huawein järjestelmätason vastauksena samaan laajaan ongelmaan, johon esimerkiksi Nvidian NVLink pyrkii vastaamaan: kiihdyttimille pitää toimittaa dataa ja niiden pitää pystyä viestimään keskenään niin nopeasti, että mittakaavan kasvattaminen tuottaa hyödyllistä laskentaa eikä vain lisää synkronointiviivettä.

Huawein ilmoittamat erot ovat laajempi protokollien yhdistäminen, SuperPoDin sisäinen globaali muistin osoitteistus, suora pääsy eri laitteistokomponenttien välillä sekä NPO-optiikan integrointi SuperPoD-tasolle. 189

Saatavilla oleva aineisto ei kuitenkaan mahdollista tasapuolista vertailua NVLinkiin kaistanleveyden, latenssin, ohjelmistojen kypsyyden, luotettavuuden, kustannusten tai todellisen opetussuorituskyvyn osalta. Se ei myöskään osoita UnifiedBusin olevan avoin, eri valmistajien välinen standardi, joka vastaisi hallintomalliltaan tai yhteentoimivuustavoitteiltaan avoimia kiihdytinliitäntähankkeita. UnifiedBus esitellään Huawein omana arkkitehtuurina ja tuote-ekosysteeminä. 18

Mikä osoittaisi strategian toimivan?

Huawein julkistus on merkittävä ennen kaikkea siksi, että se nostaa järjestelmäsuunnittelun – kytkennät, optiikan, verkkotopologian ja muistin semantiikan – tekoälyinfrastruktuuristrategian ytimeen. Tästä voi olla huomattavaa hyötyä kuormissa, joissa viestintä ja muistikapasiteetti rajoittavat suorituskykyä yhtä paljon kuin yksittäisen sirun laskentateho.

Ratkaiseva näyttö saadaan myöhemmin: Ascend 960- ja Atlas 960E -järjestelmien toimituksista, todellisilla työkuormilla mitatusta opetusläpäisystä ja käyttöasteesta, käyttökelpoisista ohjelmistotyökaluista, luotettavuudesta suuressa mittakaavassa sekä kyvystä toimittaa järjestelmiä suurina määrinä. Siihen asti 4 096 NPU:n SuperPoD ja miljoonan NPU:n SuperCluster ovat kunnianhimoisia arkkitehtuuritavoitteita, eivät riippumattomasti osoitettuja tuloksia. 91118