Architektura a výpočetní výkon

Americké akcelerátory v současnosti vedou v doloženém hrubém výpočetním výkonu pro rozsáhlé trénování AI. Například AMD MI325X dosahuje zhruba 1,3 PFLOPS při FP16, zatímco Google TPU v6e nabízí 918 TFLOPs bf16 na čip.

Čínské čipy, jako je Huawei Ascend 910C, se snaží tuto mezeru zmenšit. Odhady hovoří o přibližně 800 TFLOPS FP16, čehož dosahuje pomocí dvoučipové konfigurace odvozené od dřívějších čipů Ascend.

Akcelerátor Biren BR100 je dalším čínským pokusem prorazit na špičce, když nabízí až 256 TFLOPS FP32 a přibližně 2 048 TOPS INT8 ve svém vícečipovém provedení.

Cambricon MLU370‑X8 cílí na úlohy inference i tréninku s výkonem 256 TOPS INT8 a 96 TFLOPS FP16.

Paměť a její propustnost

Moderní AI modely silně závisí na kapacitě a propustnosti paměti, což činí integraci HBM klíčovou.

• AMD MI325X disponuje 256 GB paměti HBM3E a propustností přibližně 6 TB/s, což je jedna z největších kapacit mezi AI akcelerátory.
• TPU v6e využívá 32GB HBM s propustností zhruba 1,6 TB/s, je však navržen pro škálování na stovky propojených čipů v TPU podsystémech.
• Huawei Ascend 910C údajně dosahuje propustnosti paměti okolo 3,2 TB/s, což podporuje práci s rozsáhlými modely.
• Biren BR100 obsahuje 64 GB HBM2E paměti s propustností okolo 2,3 TB/s.

Vyšší propustnost paměti pomáhá urychlovat maticové operace a trénování velkých modelů, které často přesouvají obrovské objemy tenzorů mezi pamětí a výpočetními jednotkami.

Propojení a škálování

Velké AI modely se jen zřídka trénují na jediném čipu. Místo toho se stovky nebo tisíce akcelerátorů propojují do clusterů.

• Čipy Google TPU v6e se propojují pomocí vyhrazené sítě Inter‑Chip Interconnect (ICI) navržené pro TPU podsystémy až s 256 čipy.
• Cambricon MLU370‑X8 využívá technologii MLU‑Link, která poskytuje propustnost 200 GB/s mezi kartami pro více-GPU trénování.
• GPU Birenu zahrnují vysokorychlostní propojení pro vícejádrové clustery.

Architektura clusteru je stále důležitější než samotný výkon jednotlivého čipu.

Výroba a dodavatelské řetězce

Výrobní technologie zásadně ovlivňuje výkon a energetickou účinnost.

Mnoho čínských AI čipů je závislých na externích zakázkách. Například Biren BR100 byl vyroben 7nm procesem TSMC a pokročilým balením CoWoS.

Novější čipy Huawei kombinují designy vyrobené 7nm procesem SMIC s dříve naskladněnými křemíkovými plátky z TSMC, které byly pořízeny před uvalením amerických exportních omezení.

Naproti tomu americké čipy obvykle těží z přístupu k nejmodernějším výrobním procesům a spolehlivým dodavatelským řetězcům.

Ekosystém a software

Samotný výkon hardwaru neurčuje úspěch v oblasti AI.

• Americké čipy těží z vyspělých ekosystémů, jako jsou CUDA (Nvidia), ROCm (AMD) a softwarový stack TPU od Googlu.
• Huawei prosazuje framework CANN (Compute Architecture for Neural Networks) pro čipy Ascend, čímž buduje domácí softwarový ekosystém.

Vývojářské nástroje, frameworky a cloudová integrace často rozhodují o tom, který hardware bude nasazen pro reálné AI projekty.

Co ze srovnání vyplývá

Ze současné generace akcelerátorů vyplývá několik trendů:

• Vedení ve výkonu: Americké akcelerátory v současnosti vykazují vyšší doložený špičkový výkon a kapacitu paměti.
• Domácí alternativy: Čína vybudovala několik konkurenčních čipových řad – včetně Ascend, GPU Biren a akcelerátorů Cambricon – aby snížila závislost na americkém hardwaru.
• Strategie clusterů: Obě strany stále více soutěží prostřednictvím rozsáhlých AI systémů a clusterů superpočítačového měřítka, nikoliv pouze jednotlivých čipů.

Závod o AI čipy není jen soubojem o počty tranzistorů či TFLOPs. Je to také soutěž mezi ekosystémy, výrobními kapacitami a schopností škálovat tisíce akcelerátorů do efektivní AI infrastruktury.

S tím, jak budou generativní AI modely dále růst, budou tyto rozdíly v architektuře, paměťových systémech a softwarových ekosystémech pravděpodobně určovat, které platformy budou v budoucnu dominovat.

Architektura a výpočetní výkon

Americké akcelerátory v současnosti vedou v doloženém hrubém výpočetním výkonu pro rozsáhlé trénování AI. Například AMD MI325X dosahuje zhruba 1,3 PFLOPS při FP16, zatímco Google TPU v6e nabízí 918 TFLOPs bf16 na čip.

Čínské čipy, jako je Huawei Ascend 910C, se snaží tuto mezeru zmenšit. Odhady hovoří o přibližně 800 TFLOPS FP16, čehož dosahuje pomocí dvoučipové konfigurace odvozené od dřívějších čipů Ascend.

Akcelerátor Biren BR100 je dalším čínským pokusem prorazit na špičce, když nabízí až 256 TFLOPS FP32 a přibližně 2 048 TOPS INT8 ve svém vícečipovém provedení.

Cambricon MLU370‑X8 cílí na úlohy inference i tréninku s výkonem 256 TOPS INT8 a 96 TFLOPS FP16.

Paměť a její propustnost

Moderní AI modely silně závisí na kapacitě a propustnosti paměti, což činí integraci HBM klíčovou.

• AMD MI325X disponuje 256 GB paměti HBM3E a propustností přibližně 6 TB/s, což je jedna z největších kapacit mezi AI akcelerátory.
• TPU v6e využívá 32GB HBM s propustností zhruba 1,6 TB/s, je však navržen pro škálování na stovky propojených čipů v TPU podsystémech.
• Huawei Ascend 910C údajně dosahuje propustnosti paměti okolo 3,2 TB/s, což podporuje práci s rozsáhlými modely.
• Biren BR100 obsahuje 64 GB HBM2E paměti s propustností okolo 2,3 TB/s.

Vyšší propustnost paměti pomáhá urychlovat maticové operace a trénování velkých modelů, které často přesouvají obrovské objemy tenzorů mezi pamětí a výpočetními jednotkami.

Propojení a škálování

Velké AI modely se jen zřídka trénují na jediném čipu. Místo toho se stovky nebo tisíce akcelerátorů propojují do clusterů.

• Čipy Google TPU v6e se propojují pomocí vyhrazené sítě Inter‑Chip Interconnect (ICI) navržené pro TPU podsystémy až s 256 čipy.
• Cambricon MLU370‑X8 využívá technologii MLU‑Link, která poskytuje propustnost 200 GB/s mezi kartami pro více-GPU trénování.
• GPU Birenu zahrnují vysokorychlostní propojení pro vícejádrové clustery.

Architektura clusteru je stále důležitější než samotný výkon jednotlivého čipu.

Výroba a dodavatelské řetězce

Výrobní technologie zásadně ovlivňuje výkon a energetickou účinnost.

Mnoho čínských AI čipů je závislých na externích zakázkách. Například Biren BR100 byl vyroben 7nm procesem TSMC a pokročilým balením CoWoS.

Novější čipy Huawei kombinují designy vyrobené 7nm procesem SMIC s dříve naskladněnými křemíkovými plátky z TSMC, které byly pořízeny před uvalením amerických exportních omezení.

Naproti tomu americké čipy obvykle těží z přístupu k nejmodernějším výrobním procesům a spolehlivým dodavatelským řetězcům.

Ekosystém a software

Samotný výkon hardwaru neurčuje úspěch v oblasti AI.

• Americké čipy těží z vyspělých ekosystémů, jako jsou CUDA (Nvidia), ROCm (AMD) a softwarový stack TPU od Googlu.
• Huawei prosazuje framework CANN (Compute Architecture for Neural Networks) pro čipy Ascend, čímž buduje domácí softwarový ekosystém.

Vývojářské nástroje, frameworky a cloudová integrace často rozhodují o tom, který hardware bude nasazen pro reálné AI projekty.

Co ze srovnání vyplývá

Ze současné generace akcelerátorů vyplývá několik trendů:

• Vedení ve výkonu: Americké akcelerátory v současnosti vykazují vyšší doložený špičkový výkon a kapacitu paměti.
• Domácí alternativy: Čína vybudovala několik konkurenčních čipových řad – včetně Ascend, GPU Biren a akcelerátorů Cambricon – aby snížila závislost na americkém hardwaru.
• Strategie clusterů: Obě strany stále více soutěží prostřednictvím rozsáhlých AI systémů a clusterů superpočítačového měřítka, nikoliv pouze jednotlivých čipů.

Závod o AI čipy není jen soubojem o počty tranzistorů či TFLOPs. Je to také soutěž mezi ekosystémy, výrobními kapacitami a schopností škálovat tisíce akcelerátorů do efektivní AI infrastruktury.

S tím, jak budou generativní AI modely dále růst, budou tyto rozdíly v architektuře, paměťových systémech a softwarových ekosystémech pravděpodobně určovat, které platformy budou v budoucnu dominovat.