Arkitektur och beräkningsprestanda

USA:s acceleratorer leder för närvarande i dokumenterad rå genomströmning för storskalig AI-träning. AMD:s MI325X når till exempel cirka 1,3 PFLOPS FP16-prestanda, medan Googles TPU v6e levererar 918 TFLOPs bf16 per chip.

Kinesiska chips som Huaweis Ascend 910C försöker minska gapet, med uppskattningar på cirka 800 TFLOPS FP16 genom en dual-chiplet-konfiguration härledd från tidigare Ascend-chips.

Birens BR100-accelerator representerar ett annat kinesiskt försök att konkurrera i toppskiktet, med upp till 256 TFLOPS FP32-beräkning och cirka 2 048 TOPS INT8-prestanda i en multi-die GPU-design.

Cambricons MLU370‑X8 riktar sig mot AI-inferens och träning med 256 TOPS INT8 och 96 TFLOPS FP16 beräkningskapacitet.

Minne och bandbredd

Moderna AI-modeller är starkt beroende av minneskapacitet och bandbredd, vilket gör HBM-integration kritisk.

• AMD MI325X innehåller 256 GB HBM3E-minne och cirka 6 TB/s bandbredd, en av de största minneskapaciteterna bland AI-acceleratorer.
• TPU v6e använder 32 GB HBM med cirka 1,6 TB/s bandbredd, men är designad för att skalas till hundratals sammankopplade chips i TPU-kluster.
• Huawei Ascend 910C rapporteras nå cirka 3,2 TB/s minnesbandbredd, vilket stöder arbetsbelastningar med stora modeller.
• Biren BR100 inkluderar 64 GB HBM2E-minne och cirka 2,3 TB/s bandbredd.

Högre minnesbandbredd hjälper till att accelerera matrisoperationer och träning av stora modeller, vilket ofta innebär att massiva tensorer flyttas mellan minne och beräkningsenheter.

Sammankoppling och skalning

Stora AI-modeller tränas sällan på ett enda chip. Istället kopplas hundratals eller tusentals acceleratorer samman i kluster.

• Googles TPU v6e-chips ansluts med ett dedikerat Inter-Chip Interconnect (ICI)-nätverk designat för TPU-kluster med upp till 256 chips.
• Cambricons MLU370‑X8 använder MLU‑Link, som ger 200 GB/s kommunikationsgenomströmning mellan kort för multi-GPU-träning.
• Birens GPU:er inkluderar höghastighets GPU-till-GPU-sammankopplingslänkar designade för multi-acceleratorkluster.

Klusterarkitekturen blir allt viktigare, ibland till och med viktigare än det individuella chipets råa beräkningsprestanda.

Tillverkning och leveranskedjor

Tillverkningsteknik påverkar starkt prestanda och energieffektivitet.

Många kinesiska AI-chips är beroende av extern tillverkningsteknik. Birens BR100 tillverkades till exempel på TSMC:s 7 nm-process med avancerad CoWoS-förpackning.

Huaweis nyare Ascend-chips kombinerar designer producerade på SMIC:s 7 nm-klass-process med tidigare wafers tillverkade före USA:s exportrestriktioner.

USA-designade chips förlitar sig däremot typiskt på avancerade foundries och leveranskedjor som kan producera banbrytande noder och förpackningstekniker.

Ekosystem och mjukvara

Hårdvaruprestanda ensam avgör inte framgång inom AI-beräkning.

• USA-chips drar nytta av mogna ekosystem som CUDA (Nvidia), ROCm (AMD) och Googles TPU-mjukvarustack.
• Huawei främjar CANN (Compute Architecture for Neural Networks)-ramverket för Ascend-chips för att bygga ett inhemskt AI-mjukvaruekosystem.

Verktyg för utvecklare, ramverk och molnintegration avgör ofta vilken hårdvara som antas för verkliga AI-arbetsbelastningar.

Vad jämförelsen visar

Flera mönster framträder från den nuvarande generationen AI-acceleratorer:

• Prestandaledarskap: USA:s acceleratorer visar för närvarande högre dokumenterad topprestanda och minneskapacitet.
• Inhemska alternativ: Kina har byggt flera konkurrerande chip-linjer – inklusive Ascend, Biren GPU:er och Cambricon-acceleratorer – för att minska beroendet av amerikansk hårdvara.
• Klusterstrategi: Båda sidor konkurrerar alltmer genom stora AI-system och superdatorstora kluster snarare än individuella chips.

AI-chip-kapplöpningen är därför inte bara en tävling om transistorantal eller TFLOPs – det är också en konkurrens mellan ekosystem, tillverkningsförmåga och förmågan att skala tusentals acceleratorer till effektiv AI-infrastruktur.

I takt med att generativa AI-modeller fortsätter att växa, kommer dessa skillnader i arkitektur, minnessystem och mjukvaruekosystem sannolikt att avgöra vilka plattformar som dominerar framtidens AI-beräkning.

Arkitektur och beräkningsprestanda

USA:s acceleratorer leder för närvarande i dokumenterad rå genomströmning för storskalig AI-träning. AMD:s MI325X når till exempel cirka 1,3 PFLOPS FP16-prestanda, medan Googles TPU v6e levererar 918 TFLOPs bf16 per chip.

Kinesiska chips som Huaweis Ascend 910C försöker minska gapet, med uppskattningar på cirka 800 TFLOPS FP16 genom en dual-chiplet-konfiguration härledd från tidigare Ascend-chips.

Birens BR100-accelerator representerar ett annat kinesiskt försök att konkurrera i toppskiktet, med upp till 256 TFLOPS FP32-beräkning och cirka 2 048 TOPS INT8-prestanda i en multi-die GPU-design.

Cambricons MLU370‑X8 riktar sig mot AI-inferens och träning med 256 TOPS INT8 och 96 TFLOPS FP16 beräkningskapacitet.

Minne och bandbredd

Moderna AI-modeller är starkt beroende av minneskapacitet och bandbredd, vilket gör HBM-integration kritisk.

• AMD MI325X innehåller 256 GB HBM3E-minne och cirka 6 TB/s bandbredd, en av de största minneskapaciteterna bland AI-acceleratorer.
• TPU v6e använder 32 GB HBM med cirka 1,6 TB/s bandbredd, men är designad för att skalas till hundratals sammankopplade chips i TPU-kluster.
• Huawei Ascend 910C rapporteras nå cirka 3,2 TB/s minnesbandbredd, vilket stöder arbetsbelastningar med stora modeller.
• Biren BR100 inkluderar 64 GB HBM2E-minne och cirka 2,3 TB/s bandbredd.

Högre minnesbandbredd hjälper till att accelerera matrisoperationer och träning av stora modeller, vilket ofta innebär att massiva tensorer flyttas mellan minne och beräkningsenheter.

Sammankoppling och skalning

Stora AI-modeller tränas sällan på ett enda chip. Istället kopplas hundratals eller tusentals acceleratorer samman i kluster.

• Googles TPU v6e-chips ansluts med ett dedikerat Inter-Chip Interconnect (ICI)-nätverk designat för TPU-kluster med upp till 256 chips.
• Cambricons MLU370‑X8 använder MLU‑Link, som ger 200 GB/s kommunikationsgenomströmning mellan kort för multi-GPU-träning.
• Birens GPU:er inkluderar höghastighets GPU-till-GPU-sammankopplingslänkar designade för multi-acceleratorkluster.

Klusterarkitekturen blir allt viktigare, ibland till och med viktigare än det individuella chipets råa beräkningsprestanda.

Tillverkning och leveranskedjor

Tillverkningsteknik påverkar starkt prestanda och energieffektivitet.

Många kinesiska AI-chips är beroende av extern tillverkningsteknik. Birens BR100 tillverkades till exempel på TSMC:s 7 nm-process med avancerad CoWoS-förpackning.

Huaweis nyare Ascend-chips kombinerar designer producerade på SMIC:s 7 nm-klass-process med tidigare wafers tillverkade före USA:s exportrestriktioner.

USA-designade chips förlitar sig däremot typiskt på avancerade foundries och leveranskedjor som kan producera banbrytande noder och förpackningstekniker.

Ekosystem och mjukvara

Hårdvaruprestanda ensam avgör inte framgång inom AI-beräkning.

• USA-chips drar nytta av mogna ekosystem som CUDA (Nvidia), ROCm (AMD) och Googles TPU-mjukvarustack.
• Huawei främjar CANN (Compute Architecture for Neural Networks)-ramverket för Ascend-chips för att bygga ett inhemskt AI-mjukvaruekosystem.

Verktyg för utvecklare, ramverk och molnintegration avgör ofta vilken hårdvara som antas för verkliga AI-arbetsbelastningar.

Vad jämförelsen visar

Flera mönster framträder från den nuvarande generationen AI-acceleratorer:

• Prestandaledarskap: USA:s acceleratorer visar för närvarande högre dokumenterad topprestanda och minneskapacitet.
• Inhemska alternativ: Kina har byggt flera konkurrerande chip-linjer – inklusive Ascend, Biren GPU:er och Cambricon-acceleratorer – för att minska beroendet av amerikansk hårdvara.
• Klusterstrategi: Båda sidor konkurrerar alltmer genom stora AI-system och superdatorstora kluster snarare än individuella chips.

AI-chip-kapplöpningen är därför inte bara en tävling om transistorantal eller TFLOPs – det är också en konkurrens mellan ekosystem, tillverkningsförmåga och förmågan att skala tusentals acceleratorer till effektiv AI-infrastruktur.

I takt med att generativa AI-modeller fortsätter att växa, kommer dessa skillnader i arkitektur, minnessystem och mjukvaruekosystem sannolikt att avgöra vilka plattformar som dominerar framtidens AI-beräkning.