Arkitektur og beregningsytelse

Amerikanske akseleratorer leder for øyeblikket når det gjelder dokumentert rå gjennomstrømning for storskala KI-trening. For eksempel når AMDs MI325X omtrent 1,3 PFLOPS FP16-ytelse, mens Googles TPU v6e leverer 918 TFLOPs bf16 per brikke.

Kinesiske brikker som Huaweis Ascend 910C forsøker å tette gapet, med estimater på rundt 800 TFLOPS FP16 ved hjelp av en dobbelbrikkekonfigurasjon avledet fra tidligere Ascend-brikker.

Birens BR100-akselerator representerer et annet kinesisk forsøk på å konkurrere i toppsjiktet, og leverer opptil 256 TFLOPS FP32-beregning og rundt 2 048 TOPS INT8-ytelse i et fler-die GPU-design.

Cambricons MLU370‑X8 er rettet mot KI-inferens- og treningsarbeidsbelastninger med 256 TOPS INT8 og 96 TFLOPS FP16-beregningskapasitet.

Minne og båndbredde

Moderne KI-modeller er svært avhengige av minnekapasitet og båndbredde, noe som gjør HBM-integrasjon kritisk.

• AMD MI325X inkluderer 256 GB HBM3E-minne og omtrent 6 TB/s båndbredde, en av de største minnekapasitetene blant KI-akseleratorer.
• TPU v6e bruker 32 GB HBM med omtrent 1,6 TB/s båndbredde, men er designet for å skalere til hundrevis av sammenkoblede brikker i TPU-podder.
• Huawei Ascend 910C rapporteres å nå omtrent 3.2 TB/s minnebåndbredde, noe som støtter storskala modellarbeidsbelastninger.
• Biren BR100 inkluderer 64 GB HBM2E-minne og rundt 2,3 TB/s båndbredde.

Høyere minnebåndbredde bidrar til å akselerere matriseoperasjoner og trening av store modeller, som ofte flytter massive tensorer på tvers av minne- og beregningsenheter.

Sammenkobling og skalering

Store KI-modeller trenes sjelden på en enkelt brikke. I stedet kobles hundrevis eller tusenvis av akseleratorer sammen i klynger.

• Googles TPU v6e-brikker kobles sammen ved hjelp av et dedikert Inter-Chip Interconnect (ICI)-nettverk designet for TPU-podder som inneholder opptil 256 brikker.
• Cambricons MLU370‑X8 bruker MLU‑Link, og gir 200 GB/s kommunikasjonsgjennomstrømning mellom kort for fler-GPU-trening.
• Biren GPUer inkluderer høyhastighets GPU-til-GPU-sammenkoblingslenker designet for flerakseleratorklynger.

Klyngearkitektur blir stadig viktigere, like viktig som den enkelte brikkens rå beregningsytelse.

Produksjon og forsyningskjeder

Produksjonsteknologi påvirker ytelse og energieffektivitet sterkt.

Mange kinesiske KI-brikker er avhengige av ekstern produksjonsteknologi. For eksempel ble Birens BR100 bygget ved hjelp av TSMCs 7 nm-prosess og avansert CoWoS-pakking.

Huaweis nyere Ascend-brikker kombinerer design produsert på SMICs 7 nm-klasse prosess med tidligere wafere produsert før amerikanske eksportrestriksjoner.

I kontrast er amerikansk-designede brikker typisk avhengige av avanserte fabrikker og forsyningskjeder som er i stand til å produsere toppmoderne noder og pakketeknologier.

Økosystem og programvare

Maskinvareytelse alene avgjør ikke suksess innen KI-beregning.

• Amerikanske brikker drar nytte av modne økosystemer som CUDA (Nvidia), ROCm (AMD) og Googles TPU-programvarestabel.
• Huawei fremmer CANN (Compute Architecture for Neural Networks)-rammeverket for Ascend-brikker for å bygge et nasjonalt KI-programvareøkosystem.

Utviklerverktøy, rammeverk og skyintegrering avgjør ofte hvilken maskinvare som blir tatt i bruk for virkelige KI-arbeidsbelastninger.

Hva sammenligningen viser

Flere mønstre fremtrer fra den nåværende generasjonen KI-akseleratorer:

• Ytelsesledelse: Amerikanske akseleratorer viser for tiden høyere dokumentert toppytelse og minnekapasiteter.
• Innenlandske alternativer: Kina har bygget flere konkurrerende brikkelinjer – inkludert Ascend, Biren GPUer og Cambricon-akseleratorer – for å redusere avhengigheten av amerikansk maskinvare.
• Klyngestrategi: Begge sider konkurrerer i økende grad gjennom store KI-systemer og superdatamaskinskala-klynger snarere enn individuelle brikker.

KI-brikkekappløpet er derfor ikke bare en konkurranse om transistortall eller TFLOPs – det er også en konkurranse mellom økosystemer, produksjonskapasitet og evnen til å skalere tusenvis av akseleratorer til effektiv KI-infrastruktur.

Ettersom generative KI-modeller fortsetter å vokse, vil disse forskjellene i arkitektur, minnesystemer og programvareøkosystemer sannsynligvis avgjøre hvilke plattformer som dominerer fremtidens KI-beregning.

Arkitektur og beregningsytelse

Amerikanske akseleratorer leder for øyeblikket når det gjelder dokumentert rå gjennomstrømning for storskala KI-trening. For eksempel når AMDs MI325X omtrent 1,3 PFLOPS FP16-ytelse, mens Googles TPU v6e leverer 918 TFLOPs bf16 per brikke.

Kinesiske brikker som Huaweis Ascend 910C forsøker å tette gapet, med estimater på rundt 800 TFLOPS FP16 ved hjelp av en dobbelbrikkekonfigurasjon avledet fra tidligere Ascend-brikker.

Birens BR100-akselerator representerer et annet kinesisk forsøk på å konkurrere i toppsjiktet, og leverer opptil 256 TFLOPS FP32-beregning og rundt 2 048 TOPS INT8-ytelse i et fler-die GPU-design.

Cambricons MLU370‑X8 er rettet mot KI-inferens- og treningsarbeidsbelastninger med 256 TOPS INT8 og 96 TFLOPS FP16-beregningskapasitet.

Minne og båndbredde

Moderne KI-modeller er svært avhengige av minnekapasitet og båndbredde, noe som gjør HBM-integrasjon kritisk.

• AMD MI325X inkluderer 256 GB HBM3E-minne og omtrent 6 TB/s båndbredde, en av de største minnekapasitetene blant KI-akseleratorer.
• TPU v6e bruker 32 GB HBM med omtrent 1,6 TB/s båndbredde, men er designet for å skalere til hundrevis av sammenkoblede brikker i TPU-podder.
• Huawei Ascend 910C rapporteres å nå omtrent 3.2 TB/s minnebåndbredde, noe som støtter storskala modellarbeidsbelastninger.
• Biren BR100 inkluderer 64 GB HBM2E-minne og rundt 2,3 TB/s båndbredde.

Høyere minnebåndbredde bidrar til å akselerere matriseoperasjoner og trening av store modeller, som ofte flytter massive tensorer på tvers av minne- og beregningsenheter.

Sammenkobling og skalering

Store KI-modeller trenes sjelden på en enkelt brikke. I stedet kobles hundrevis eller tusenvis av akseleratorer sammen i klynger.

• Googles TPU v6e-brikker kobles sammen ved hjelp av et dedikert Inter-Chip Interconnect (ICI)-nettverk designet for TPU-podder som inneholder opptil 256 brikker.
• Cambricons MLU370‑X8 bruker MLU‑Link, og gir 200 GB/s kommunikasjonsgjennomstrømning mellom kort for fler-GPU-trening.
• Biren GPUer inkluderer høyhastighets GPU-til-GPU-sammenkoblingslenker designet for flerakseleratorklynger.

Klyngearkitektur blir stadig viktigere, like viktig som den enkelte brikkens rå beregningsytelse.

Produksjon og forsyningskjeder

Produksjonsteknologi påvirker ytelse og energieffektivitet sterkt.

Mange kinesiske KI-brikker er avhengige av ekstern produksjonsteknologi. For eksempel ble Birens BR100 bygget ved hjelp av TSMCs 7 nm-prosess og avansert CoWoS-pakking.

Huaweis nyere Ascend-brikker kombinerer design produsert på SMICs 7 nm-klasse prosess med tidligere wafere produsert før amerikanske eksportrestriksjoner.

I kontrast er amerikansk-designede brikker typisk avhengige av avanserte fabrikker og forsyningskjeder som er i stand til å produsere toppmoderne noder og pakketeknologier.

Økosystem og programvare

Maskinvareytelse alene avgjør ikke suksess innen KI-beregning.

• Amerikanske brikker drar nytte av modne økosystemer som CUDA (Nvidia), ROCm (AMD) og Googles TPU-programvarestabel.
• Huawei fremmer CANN (Compute Architecture for Neural Networks)-rammeverket for Ascend-brikker for å bygge et nasjonalt KI-programvareøkosystem.

Utviklerverktøy, rammeverk og skyintegrering avgjør ofte hvilken maskinvare som blir tatt i bruk for virkelige KI-arbeidsbelastninger.

Hva sammenligningen viser

Flere mønstre fremtrer fra den nåværende generasjonen KI-akseleratorer:

• Ytelsesledelse: Amerikanske akseleratorer viser for tiden høyere dokumentert toppytelse og minnekapasiteter.
• Innenlandske alternativer: Kina har bygget flere konkurrerende brikkelinjer – inkludert Ascend, Biren GPUer og Cambricon-akseleratorer – for å redusere avhengigheten av amerikansk maskinvare.
• Klyngestrategi: Begge sider konkurrerer i økende grad gjennom store KI-systemer og superdatamaskinskala-klynger snarere enn individuelle brikker.

KI-brikkekappløpet er derfor ikke bare en konkurranse om transistortall eller TFLOPs – det er også en konkurranse mellom økosystemer, produksjonskapasitet og evnen til å skalere tusenvis av akseleratorer til effektiv KI-infrastruktur.

Ettersom generative KI-modeller fortsetter å vokse, vil disse forskjellene i arkitektur, minnesystemer og programvareøkosystemer sannsynligvis avgjøre hvilke plattformer som dominerer fremtidens KI-beregning.