Architektura i wydajność obliczeniowa

Amerykańskie akceleratory obecnie przodują w udokumentowanej surowej przepustowości obliczeniowej dla dużych zadań trenowania AI. Na przykład AMD MI325X osiąga około 1,3 PFLOPS wydajności FP16, podczas gdy Google TPU v6e dostarcza 918 TFLOPs bf16 na chip.

Chińskie chipy, takie jak Huawei Ascend 910C, starają się zmniejszyć tę lukę, oferując szacunkowe około 800 TFLOPS FP16 w konfiguracji z podwójnym chipletem, wywodzącej się z wcześniejszych układów Ascend.

Akcelerator Biren BR100 to kolejna chińska próba konkurowania w wyższej półce, oferując do 256 TFLOPS FP32 i około 2 048 TOPS INT8 w konstrukcji GPU z wieloma matrycami.

Układ Cambricon MLU370‑X8 jest przeznaczony do zadań wnioskowania i trenowania AI z wydajnością 256 TOPS INT8 i 96 TFLOPS FP16.

Pamięć i przepustowość

Nowoczesne modele AI w dużym stopniu polegają na pojemności i przepustowości pamięci, co czyni integrację HBM kluczową.

• AMD MI325X zawiera 256 GB pamięci HBM3E i około 6 TB/s przepustowości, co jest jedną z największych pojemności pamięci wśród akceleratorów AI.
• TPU v6e wykorzystuje 32 GB HBM z około 1,6 TB/s przepustowości, ale jest zaprojektowany do skalowania do setek połączonych chipów w podach TPU.
• Huawei Ascend 910C podobno osiąga około 3,2 TB/s przepustowości pamięci, co wspiera obciążenia związane z dużymi modelami.
• Biren BR100 zawiera 64 GB pamięci HBM2E i około 2,3 TB/s przepustowości.

Większa przepustowość pamięci pomaga przyspieszyć operacje na macierzach i trenowanie dużych modeli, które często przemieszczają ogromne tensory między pamięcią a jednostkami obliczeniowymi.

Połączenia i skalowanie

Duże modele AI rzadko są trenowane na pojedynczym chipie. Zamiast tego setki lub tysiące akceleratorów są łączone w klastry.

• Chipy Google TPU v6e łączą się za pomocą dedykowanej sieci Inter‑Chip Interconnect (ICI) zaprojektowanej dla podów TPU zawierających do 256 chipów.
• Cambricon MLU370‑X8 wykorzystuje MLU‑Link, zapewniając 200 GB/s przepustowości komunikacji między kartami do trenowania na wielu procesorach graficznych.
• Procesory graficzne Biren zawierają szybkie łącza GPU‑GPU zaprojektowane dla klastrów z wieloma akceleratorami.

Architektura klastra staje się równie ważna, co surowa wydajność obliczeniowa pojedynczego chipa.

Produkcja i łańcuchy dostaw

Technologia produkcji ma silny wpływ na wydajność i efektywność energetyczną.

Wiele chińskich układów AI opiera się na zewnętrznych technologiach produkcyjnych. Na przykład Biren BR100 został zbudowany przy użyciu procesu 7 nm TSMC i zaawansowanego pakowania CoWoS.

Nowe chipy Ascend Huawei łączą konstrukcje wyprodukowane w procesie klasy 7 nm SMIC z wcześniejszymi waflami wyprodukowanymi przed amerykańskimi ograniczeniami eksportowymi.

Z kolei chipy zaprojektowane w USA zazwyczaj opierają się na zaawansowanych odlewniach i łańcuchach dostaw zdolnych do produkcji najnowocześniejszych węzłów i technologii pakowania.

Ekosystem i oprogramowanie

Sama wydajność sprzętu nie decyduje o sukcesie w obliczeniach AI.

• Chipy amerykańskie korzystają z dojrzałych ekosystemów, takich jak CUDA (Nvidia), ROCm (AMD) i stos oprogramowania Google TPU.
• Huawei promuje framework CANN (Compute Architecture for Neural Networks) dla chipów Ascend, aby zbudować krajowy ekosystem oprogramowania AI.

Narzędzia programistyczne, frameworki i integracja z chmurą często decydują o tym, który sprzęt jest adoptowany do rzeczywistych obciążeń AI.

Co pokazuje to porównanie

Z obecnej generacji akceleratorów AI wyłania się kilka wzorców:

• Przywództwo w wydajności: Amerykańskie akceleratory wykazują obecnie wyższą udokumentowaną szczytową wydajność obliczeniową i pojemność pamięci.
• Rodzime alternatywy: Chiny zbudowały wiele konkurujących linii chipów – w tym Ascend, procesory graficzne Biren i akceleratory Cambricon – aby zmniejszyć zależność od amerykańskiego sprzętu.
• Strategia klastrowa: Obie strony coraz bardziej konkurują poprzez duże systemy AI i klastry na skalę superkomputerów, a nie pojedyncze chipy.

Wyścig chipów AI nie jest więc tylko konkursem liczby tranzystorów czy TFLOPs – to także rywalizacja między ekosystemami, zdolnościami produkcyjnymi i umiejętnością skalowania tysięcy akceleratorów w wydajną infrastrukturę AI.

W miarę jak modele generatywnej AI będą się rozwijać, te różnice w architekturze, systemach pamięci i ekosystemach oprogramowania prawdopodobnie zadecydują o tym, które platformy zdominują przyszłe obliczenia AI.

Architektura i wydajność obliczeniowa

Amerykańskie akceleratory obecnie przodują w udokumentowanej surowej przepustowości obliczeniowej dla dużych zadań trenowania AI. Na przykład AMD MI325X osiąga około 1,3 PFLOPS wydajności FP16, podczas gdy Google TPU v6e dostarcza 918 TFLOPs bf16 na chip.

Chińskie chipy, takie jak Huawei Ascend 910C, starają się zmniejszyć tę lukę, oferując szacunkowe około 800 TFLOPS FP16 w konfiguracji z podwójnym chipletem, wywodzącej się z wcześniejszych układów Ascend.

Akcelerator Biren BR100 to kolejna chińska próba konkurowania w wyższej półce, oferując do 256 TFLOPS FP32 i około 2 048 TOPS INT8 w konstrukcji GPU z wieloma matrycami.

Układ Cambricon MLU370‑X8 jest przeznaczony do zadań wnioskowania i trenowania AI z wydajnością 256 TOPS INT8 i 96 TFLOPS FP16.

Pamięć i przepustowość

Nowoczesne modele AI w dużym stopniu polegają na pojemności i przepustowości pamięci, co czyni integrację HBM kluczową.

• AMD MI325X zawiera 256 GB pamięci HBM3E i około 6 TB/s przepustowości, co jest jedną z największych pojemności pamięci wśród akceleratorów AI.
• TPU v6e wykorzystuje 32 GB HBM z około 1,6 TB/s przepustowości, ale jest zaprojektowany do skalowania do setek połączonych chipów w podach TPU.
• Huawei Ascend 910C podobno osiąga około 3,2 TB/s przepustowości pamięci, co wspiera obciążenia związane z dużymi modelami.
• Biren BR100 zawiera 64 GB pamięci HBM2E i około 2,3 TB/s przepustowości.

Większa przepustowość pamięci pomaga przyspieszyć operacje na macierzach i trenowanie dużych modeli, które często przemieszczają ogromne tensory między pamięcią a jednostkami obliczeniowymi.

Połączenia i skalowanie

Duże modele AI rzadko są trenowane na pojedynczym chipie. Zamiast tego setki lub tysiące akceleratorów są łączone w klastry.

• Chipy Google TPU v6e łączą się za pomocą dedykowanej sieci Inter‑Chip Interconnect (ICI) zaprojektowanej dla podów TPU zawierających do 256 chipów.
• Cambricon MLU370‑X8 wykorzystuje MLU‑Link, zapewniając 200 GB/s przepustowości komunikacji między kartami do trenowania na wielu procesorach graficznych.
• Procesory graficzne Biren zawierają szybkie łącza GPU‑GPU zaprojektowane dla klastrów z wieloma akceleratorami.

Architektura klastra staje się równie ważna, co surowa wydajność obliczeniowa pojedynczego chipa.

Produkcja i łańcuchy dostaw

Technologia produkcji ma silny wpływ na wydajność i efektywność energetyczną.

Wiele chińskich układów AI opiera się na zewnętrznych technologiach produkcyjnych. Na przykład Biren BR100 został zbudowany przy użyciu procesu 7 nm TSMC i zaawansowanego pakowania CoWoS.

Nowe chipy Ascend Huawei łączą konstrukcje wyprodukowane w procesie klasy 7 nm SMIC z wcześniejszymi waflami wyprodukowanymi przed amerykańskimi ograniczeniami eksportowymi.

Z kolei chipy zaprojektowane w USA zazwyczaj opierają się na zaawansowanych odlewniach i łańcuchach dostaw zdolnych do produkcji najnowocześniejszych węzłów i technologii pakowania.

Ekosystem i oprogramowanie

Sama wydajność sprzętu nie decyduje o sukcesie w obliczeniach AI.

• Chipy amerykańskie korzystają z dojrzałych ekosystemów, takich jak CUDA (Nvidia), ROCm (AMD) i stos oprogramowania Google TPU.
• Huawei promuje framework CANN (Compute Architecture for Neural Networks) dla chipów Ascend, aby zbudować krajowy ekosystem oprogramowania AI.

Narzędzia programistyczne, frameworki i integracja z chmurą często decydują o tym, który sprzęt jest adoptowany do rzeczywistych obciążeń AI.

Co pokazuje to porównanie

Z obecnej generacji akceleratorów AI wyłania się kilka wzorców:

• Przywództwo w wydajności: Amerykańskie akceleratory wykazują obecnie wyższą udokumentowaną szczytową wydajność obliczeniową i pojemność pamięci.
• Rodzime alternatywy: Chiny zbudowały wiele konkurujących linii chipów – w tym Ascend, procesory graficzne Biren i akceleratory Cambricon – aby zmniejszyć zależność od amerykańskiego sprzętu.
• Strategia klastrowa: Obie strony coraz bardziej konkurują poprzez duże systemy AI i klastry na skalę superkomputerów, a nie pojedyncze chipy.

Wyścig chipów AI nie jest więc tylko konkursem liczby tranzystorów czy TFLOPs – to także rywalizacja między ekosystemami, zdolnościami produkcyjnymi i umiejętnością skalowania tysięcy akceleratorów w wydajną infrastrukturę AI.

W miarę jak modele generatywnej AI będą się rozwijać, te różnice w architekturze, systemach pamięci i ekosystemach oprogramowania prawdopodobnie zadecydują o tym, które platformy zdominują przyszłe obliczenia AI.