Arkkitehtuuri ja laskentateho

USA:n kiihdyttimet johtavat tällä hetkellä dokumentoidussa raa'assa laskentatehossa suurissa tekoälykoulutuksissa. Esimerkiksi AMD:n MI325X saavuttaa noin 1,3 PFLOPS FP16 -suorituskyvyn, kun taas Googlen TPU v6e tuottaa 918 TFLOPs bf16 per siru.

Kiinalaiset piirit, kuten Huawein Ascend 910C, pyrkivät kuromaan tätä eroa umpeen, ja arviot ovat noin 800 TFLOPS FP16 käyttäen kaksoispiirilevykonfiguraatiota, joka on johdettu aiemmista Ascend-piireistä.

Birenin BR100-kiihdytin on toinen kiinalainen yritys kilpailla huippuluokassa, ja se tarjoaa jopa 256 TFLOPS FP32 -laskentatehoa ja noin 2 048 TOPS INT8 -suorituskykyä monipiirilevyisessä GPU-muotoilussa.

Cambriconin MLU370-X8 on suunnattu tekoälyn päättely- ja koulutustyökuormiin, ja sen laskentakyky on 256 TOPS INT8 ja 96 TFLOPS FP16.

Muisti ja kaistanleveys

Nykyaikaiset tekoälymallit ovat vahvasti riippuvaisia muistin kapasiteetista ja kaistanleveydestä, mikä tekee HBM-integraatiosta kriittistä.

• AMD MI325X sisältää 256 Gt HBM3E-muistia ja noin 6 Tt/s kaistanleveyden, mikä on yksi suurimmista muistikapasiteeteista tekoälykiihdyttimien joukossa.
• TPU v6e käyttää 32 Gt HBM:ää, jonka kaistanleveys on noin 1,6 Tt/s, mutta se on suunniteltu skaalautumaan satoihin toisiinsa kytkettyihin siruihin TPU-podeissa.
• Huawei Ascend 910C saavuttaa raportoidusti noin 3,2 Tt/s muistikaistanleveyden, mikä tukee suurten mallien työkuormia.
• Biren BR100 sisältää 64 Gt HBM2E-muistia ja noin 2,3 Tt/s kaistanleveyden.

Suurempi muistikaistanleveys auttaa nopeuttamaan matriisioperaatioita ja suurten mallien koulutusta, jotka usein siirtävät massiivisia tensoreita muistin ja laskentayksiköiden välillä.

Yhteenliitäntä ja skaalaus

Suuria tekoälymalleja koulutetaan harvoin yhdellä piirillä. Sen sijaan satoja tai tuhansia kiihdyttimiä kytketään toisiinsa klustereiksi.

• Googlen TPU v6e -piirit yhdistetään käyttämällä erillistä Sirujen välistä yhteyttä (ICI) -verkkoa, joka on suunniteltu TPU-podeille, jotka sisältävät jopa 256 sirua.
• Cambriconin MLU370-X8 käyttää MLU-Linkiä, joka tarjoaa 200 Gt/s tiedonsiirtotehon korttien välillä monen GPU:n koulutukseen.
• Birenin GPU:t sisältävät nopeita GPU:iden välisiä yhteyslinkkejä, jotka on suunniteltu monikiihdytinklustereille.

Klusterin arkkitehtuuri on yhä tärkeämpi tekijä kuin yksittäisen piirin raaka laskentateho.

Valmistus ja toimitusketjut

Valmistusteknologia vaikuttaa voimakkaasti suorituskykyyn ja energiatehokkuuteen.

Monet kiinalaiset tekoälysirut ovat riippuvaisia ulkoisista valmistusteknologioista. Esimerkiksi Birenin BR100 rakennettiin käyttämällä TSMC:n 7 nm:n prosessia ja kehittynyttä CoWoS-pakkausta.

Huawein uudemmat Ascend-piirit yhdistävät SMIC:n 7 nm:n luokan prosessilla valmistettuja malleja ja ennen USA:n vientirajoituksia valmistettuja piikiekkoja.

Sitä vastoin USA:ssa suunnitellut piirit luottavat tyypillisesti kehittyneisiin valimoihin ja toimitusketjuihin, jotka pystyvät tuottamaan huippuluokan solmuja ja pakkausteknologioita.

Ekosysteemi ja ohjelmisto

Laitteiston suorituskyky yksinään ei ratkaise menestystä tekoälylaskennassa.

• USA:n piirit hyötyvät kypsistä ekosysteemeistä, kuten CUDA (Nvidia), ROCm (AMD) ja Googlen TPU-ohjelmistopino.
• Huawei edistää CANN (Compute Architecture for Neural Networks) -kehystä Ascend-piireille rakentaakseen kotimaisen tekoälyn ohjelmistoekosysteemin.

Kehittäjätyökalut, kehykset ja pilvi-integraatio määräävät usein, mikä laitteisto otetaan käyttöön todellisissa tekoälytyökuormissa.

Mitä vertailu osoittaa

Nykyisestä tekoälykiihdytinsukupolvesta nousee esiin useita malleja:

• Suorituskykyjohtajuus: USA:n kiihdyttimet osoittavat tällä hetkellä korkeampaa dokumentoitua huippulaskentatehoa ja muistikapasiteettia.
• Kotimaiset vaihtoehdot: Kiina on rakentanut useita kilpailevia piirilinjoja – mukaan lukien Ascend, Biren GPU:t ja Cambricon-kiihdyttimet – vähentääkseen riippuvuutta USA:n laitteistosta.
• Klusteristrategia: Molemmat osapuolet kilpailevat yhä enemmän suurten tekoälyjärjestelmien ja supertietokoneluokan klustereiden kautta yksittäisten piirien sijaan.

Tekoälypiirikilpailu ei siis ole pelkkää transistorimäärien tai TFLOPs-lukujen mittelöä – se on myös kilpailua ekosysteemeistä, valmistuskyvystä ja kyvystä skaalata tuhansia kiihdyttimiä tehokkaaksi tekoälyinfrastruktuuriksi.

Kun generatiiviset tekoälymallit jatkavat kasvuaan, nämä erot arkkitehtuurissa, muistijärjestelmissä ja ohjelmistoekosysteemeissä todennäköisesti ratkaisevat, mitkä alustat hallitsevat tulevaisuuden tekoälylaskentaa.

Arkkitehtuuri ja laskentateho

USA:n kiihdyttimet johtavat tällä hetkellä dokumentoidussa raa'assa laskentatehossa suurissa tekoälykoulutuksissa. Esimerkiksi AMD:n MI325X saavuttaa noin 1,3 PFLOPS FP16 -suorituskyvyn, kun taas Googlen TPU v6e tuottaa 918 TFLOPs bf16 per siru.

Kiinalaiset piirit, kuten Huawein Ascend 910C, pyrkivät kuromaan tätä eroa umpeen, ja arviot ovat noin 800 TFLOPS FP16 käyttäen kaksoispiirilevykonfiguraatiota, joka on johdettu aiemmista Ascend-piireistä.

Birenin BR100-kiihdytin on toinen kiinalainen yritys kilpailla huippuluokassa, ja se tarjoaa jopa 256 TFLOPS FP32 -laskentatehoa ja noin 2 048 TOPS INT8 -suorituskykyä monipiirilevyisessä GPU-muotoilussa.

Cambriconin MLU370-X8 on suunnattu tekoälyn päättely- ja koulutustyökuormiin, ja sen laskentakyky on 256 TOPS INT8 ja 96 TFLOPS FP16.

Muisti ja kaistanleveys

Nykyaikaiset tekoälymallit ovat vahvasti riippuvaisia muistin kapasiteetista ja kaistanleveydestä, mikä tekee HBM-integraatiosta kriittistä.

• AMD MI325X sisältää 256 Gt HBM3E-muistia ja noin 6 Tt/s kaistanleveyden, mikä on yksi suurimmista muistikapasiteeteista tekoälykiihdyttimien joukossa.
• TPU v6e käyttää 32 Gt HBM:ää, jonka kaistanleveys on noin 1,6 Tt/s, mutta se on suunniteltu skaalautumaan satoihin toisiinsa kytkettyihin siruihin TPU-podeissa.
• Huawei Ascend 910C saavuttaa raportoidusti noin 3,2 Tt/s muistikaistanleveyden, mikä tukee suurten mallien työkuormia.
• Biren BR100 sisältää 64 Gt HBM2E-muistia ja noin 2,3 Tt/s kaistanleveyden.

Suurempi muistikaistanleveys auttaa nopeuttamaan matriisioperaatioita ja suurten mallien koulutusta, jotka usein siirtävät massiivisia tensoreita muistin ja laskentayksiköiden välillä.

Yhteenliitäntä ja skaalaus

Suuria tekoälymalleja koulutetaan harvoin yhdellä piirillä. Sen sijaan satoja tai tuhansia kiihdyttimiä kytketään toisiinsa klustereiksi.

• Googlen TPU v6e -piirit yhdistetään käyttämällä erillistä Sirujen välistä yhteyttä (ICI) -verkkoa, joka on suunniteltu TPU-podeille, jotka sisältävät jopa 256 sirua.
• Cambriconin MLU370-X8 käyttää MLU-Linkiä, joka tarjoaa 200 Gt/s tiedonsiirtotehon korttien välillä monen GPU:n koulutukseen.
• Birenin GPU:t sisältävät nopeita GPU:iden välisiä yhteyslinkkejä, jotka on suunniteltu monikiihdytinklustereille.

Klusterin arkkitehtuuri on yhä tärkeämpi tekijä kuin yksittäisen piirin raaka laskentateho.

Valmistus ja toimitusketjut

Valmistusteknologia vaikuttaa voimakkaasti suorituskykyyn ja energiatehokkuuteen.

Monet kiinalaiset tekoälysirut ovat riippuvaisia ulkoisista valmistusteknologioista. Esimerkiksi Birenin BR100 rakennettiin käyttämällä TSMC:n 7 nm:n prosessia ja kehittynyttä CoWoS-pakkausta.

Huawein uudemmat Ascend-piirit yhdistävät SMIC:n 7 nm:n luokan prosessilla valmistettuja malleja ja ennen USA:n vientirajoituksia valmistettuja piikiekkoja.

Sitä vastoin USA:ssa suunnitellut piirit luottavat tyypillisesti kehittyneisiin valimoihin ja toimitusketjuihin, jotka pystyvät tuottamaan huippuluokan solmuja ja pakkausteknologioita.

Ekosysteemi ja ohjelmisto

Laitteiston suorituskyky yksinään ei ratkaise menestystä tekoälylaskennassa.

• USA:n piirit hyötyvät kypsistä ekosysteemeistä, kuten CUDA (Nvidia), ROCm (AMD) ja Googlen TPU-ohjelmistopino.
• Huawei edistää CANN (Compute Architecture for Neural Networks) -kehystä Ascend-piireille rakentaakseen kotimaisen tekoälyn ohjelmistoekosysteemin.

Kehittäjätyökalut, kehykset ja pilvi-integraatio määräävät usein, mikä laitteisto otetaan käyttöön todellisissa tekoälytyökuormissa.

Mitä vertailu osoittaa

Nykyisestä tekoälykiihdytinsukupolvesta nousee esiin useita malleja:

• Suorituskykyjohtajuus: USA:n kiihdyttimet osoittavat tällä hetkellä korkeampaa dokumentoitua huippulaskentatehoa ja muistikapasiteettia.
• Kotimaiset vaihtoehdot: Kiina on rakentanut useita kilpailevia piirilinjoja – mukaan lukien Ascend, Biren GPU:t ja Cambricon-kiihdyttimet – vähentääkseen riippuvuutta USA:n laitteistosta.
• Klusteristrategia: Molemmat osapuolet kilpailevat yhä enemmän suurten tekoälyjärjestelmien ja supertietokoneluokan klustereiden kautta yksittäisten piirien sijaan.

Tekoälypiirikilpailu ei siis ole pelkkää transistorimäärien tai TFLOPs-lukujen mittelöä – se on myös kilpailua ekosysteemeistä, valmistuskyvystä ja kyvystä skaalata tuhansia kiihdyttimiä tehokkaaksi tekoälyinfrastruktuuriksi.

Kun generatiiviset tekoälymallit jatkavat kasvuaan, nämä erot arkkitehtuurissa, muistijärjestelmissä ja ohjelmistoekosysteemeissä todennäköisesti ratkaisevat, mitkä alustat hallitsevat tulevaisuuden tekoälylaskentaa.