Архітектура та обчислювальна продуктивність

Американські прискорювачі наразі лідирують за задокументованою сирою обчислювальною потужністю для масштабного тренування ШІ. Наприклад, продуктивність AMD MI325X сягає приблизно 1.3 PFLOPS FP16, тоді як Google TPU v6e забезпечує 918 TFLOPs bf16 на чіп.

Китайські чіпи, такі як Huawei Ascend 910C, намагаються скоротити цей розрив, досягаючи, за оцінками, близько 800 TFLOPS FP16 у двокристальній конфігурації.

Прискорювач Biren BR100 — ще одна спроба Китаю конкурувати у високому сегменті з продуктивністю до 256 TFLOPS FP32 та близько 2,048 TOPS INT8.

Cambricon MLU370‑X8 орієнтований на завдання інференсу та тренування з показниками 256 TOPS INT8 та 96 TFLOPS FP16.

Пам'ять та пропускна здатність

Сучасні AI-моделі критично залежать від об'єму та пропускної здатності пам'яті, що робить інтеграцію HBM надзвичайно важливою.

• AMD MI325X оснащений 256 ГБ пам'яті HBM3E з пропускною здатністю близько 6 ТБ/с — це один з найбільших об'ємів пам'яті серед AI-прискорювачів.
• TPU v6e використовує 32 ГБ HBM з пропускною здатністю ~1.6 ТБ/с, але розрахований на масштабування до сотень чіпів у TPU-подах.
• Huawei Ascend 910C, за повідомленнями, досягає близько 3.2 ТБ/с пропускної здатності пам'яті.
• Biren BR100 має 64 ГБ HBM2E та пропускну здатність близько 2.3 ТБ/с.

Вища пропускна здатність пам'яті допомагає прискорити матричні операції та тренування великих моделей, які часто переміщують величезні тензори між пам'яттю та обчислювальними блоками.

Інтерконект та масштабування

Великі AI-моделі рідко тренуються на одному чіпі. Натомість сотні або тисячі прискорювачів об'єднуються в кластери.

• Чіпи Google TPU v6e з'єднуються за допомогою виділеної мережі Inter‑Chip Interconnect (ICI), розрахованої на поду до 256 чіпів.
• Cambricon MLU370‑X8 використовує MLU‑Link, що забезпечує 200 ГБ/с комунікаційної пропускної здатності між картами для багато-GPU тренування.
• GPU Biren мають високошвидкісні з'єднання GPU‑GPU для багатоакселераторних кластерів.

Архітектура кластера стає не менш важливою, ніж сира обчислювальна потужність окремого чіпа.

Виробництво та ланцюги постачання

Технологія виробництва сильно впливає на продуктивність та енергоефективність.

Багато китайських AI-чіпів покладаються на зовнішні виробничі технології. Наприклад, Biren BR100 виготовлявся на 7-нм техпроцесі TSMC з використанням передової упаковки CoWoS.

Новіші чіпи Huawei Ascend поєднують кристали, вироблені на 7-нм техпроцесі SMIC, з раніше виготовленими пластинами TSMC, які були накопичені до запровадження експортних обмежень США.

Натомість чіпи американського дизайну зазвичай покладаються на передові фабрики та ланцюги постачання, здатні виробляти найсучасніші техпроцеси та технології пакування.

Екосистема та програмне забезпечення

Продуктивність апаратного забезпечення сама по собі не визначає успіху в AI-обчисленнях.

• Американські чіпи виграють від зрілих екосистем, таких як CUDA (Nvidia), ROCm (AMD) та програмний стек Google TPU.
• Huawei просуває фреймворк CANN (Compute Architecture for Neural Networks) для чіпів Ascend, щоб побудувати власну програмну AI-екосистему.

Інструменти для розробників, підтримка фреймворків та інтеграція з хмарними платформами часто визначають, яке саме апаратне забезпечення буде прийнято для реальних AI-завдань.

Що показує порівняння

Кілька закономірностей випливають із поточного покоління AI-прискорювачів:

• Лідерство за продуктивністю: Американські прискорювачі наразі демонструють вищу задокументовану пікову обчислювальну потужність та об'єми пам'яті.
• Власні альтернативи: Китай створив кілька конкуруючих лінійок чіпів — включаючи Ascend, GPU Biren та прискорювачі Cambricon — щоб зменшити залежність від американського обладнання.
• Кластерна стратегія: Обидві сторони дедалі більше конкурують у створенні великих AI-систем та кластерів суперкомп'ютерного масштабу, а не окремих чіпів.

Отже, гонка AI-чіпів — це не просто змагання кількості транзисторів або TFLOPів. Це також конкуренція екосистем, виробничих можливостей та здатності масштабувати тисячі прискорювачів в ефективну AI-інфраструктуру.

Оскільки генеративні AI-моделі продовжують зростати, ці відмінності в архітектурі, системах пам'яті та програмних екосистемах, ймовірно, визначать, які платформи домінуватимуть у майбутніх AI-обчисленнях.

Архітектура та обчислювальна продуктивність

Американські прискорювачі наразі лідирують за задокументованою сирою обчислювальною потужністю для масштабного тренування ШІ. Наприклад, продуктивність AMD MI325X сягає приблизно 1.3 PFLOPS FP16, тоді як Google TPU v6e забезпечує 918 TFLOPs bf16 на чіп.

Китайські чіпи, такі як Huawei Ascend 910C, намагаються скоротити цей розрив, досягаючи, за оцінками, близько 800 TFLOPS FP16 у двокристальній конфігурації.

Прискорювач Biren BR100 — ще одна спроба Китаю конкурувати у високому сегменті з продуктивністю до 256 TFLOPS FP32 та близько 2,048 TOPS INT8.

Cambricon MLU370‑X8 орієнтований на завдання інференсу та тренування з показниками 256 TOPS INT8 та 96 TFLOPS FP16.

Пам'ять та пропускна здатність

Сучасні AI-моделі критично залежать від об'єму та пропускної здатності пам'яті, що робить інтеграцію HBM надзвичайно важливою.

• AMD MI325X оснащений 256 ГБ пам'яті HBM3E з пропускною здатністю близько 6 ТБ/с — це один з найбільших об'ємів пам'яті серед AI-прискорювачів.
• TPU v6e використовує 32 ГБ HBM з пропускною здатністю ~1.6 ТБ/с, але розрахований на масштабування до сотень чіпів у TPU-подах.
• Huawei Ascend 910C, за повідомленнями, досягає близько 3.2 ТБ/с пропускної здатності пам'яті.
• Biren BR100 має 64 ГБ HBM2E та пропускну здатність близько 2.3 ТБ/с.

Вища пропускна здатність пам'яті допомагає прискорити матричні операції та тренування великих моделей, які часто переміщують величезні тензори між пам'яттю та обчислювальними блоками.

Інтерконект та масштабування

Великі AI-моделі рідко тренуються на одному чіпі. Натомість сотні або тисячі прискорювачів об'єднуються в кластери.

• Чіпи Google TPU v6e з'єднуються за допомогою виділеної мережі Inter‑Chip Interconnect (ICI), розрахованої на поду до 256 чіпів.
• Cambricon MLU370‑X8 використовує MLU‑Link, що забезпечує 200 ГБ/с комунікаційної пропускної здатності між картами для багато-GPU тренування.
• GPU Biren мають високошвидкісні з'єднання GPU‑GPU для багатоакселераторних кластерів.

Архітектура кластера стає не менш важливою, ніж сира обчислювальна потужність окремого чіпа.

Виробництво та ланцюги постачання

Технологія виробництва сильно впливає на продуктивність та енергоефективність.

Багато китайських AI-чіпів покладаються на зовнішні виробничі технології. Наприклад, Biren BR100 виготовлявся на 7-нм техпроцесі TSMC з використанням передової упаковки CoWoS.

Новіші чіпи Huawei Ascend поєднують кристали, вироблені на 7-нм техпроцесі SMIC, з раніше виготовленими пластинами TSMC, які були накопичені до запровадження експортних обмежень США.

Натомість чіпи американського дизайну зазвичай покладаються на передові фабрики та ланцюги постачання, здатні виробляти найсучасніші техпроцеси та технології пакування.

Екосистема та програмне забезпечення

Продуктивність апаратного забезпечення сама по собі не визначає успіху в AI-обчисленнях.

• Американські чіпи виграють від зрілих екосистем, таких як CUDA (Nvidia), ROCm (AMD) та програмний стек Google TPU.
• Huawei просуває фреймворк CANN (Compute Architecture for Neural Networks) для чіпів Ascend, щоб побудувати власну програмну AI-екосистему.

Інструменти для розробників, підтримка фреймворків та інтеграція з хмарними платформами часто визначають, яке саме апаратне забезпечення буде прийнято для реальних AI-завдань.

Що показує порівняння

Кілька закономірностей випливають із поточного покоління AI-прискорювачів:

• Лідерство за продуктивністю: Американські прискорювачі наразі демонструють вищу задокументовану пікову обчислювальну потужність та об'єми пам'яті.
• Власні альтернативи: Китай створив кілька конкуруючих лінійок чіпів — включаючи Ascend, GPU Biren та прискорювачі Cambricon — щоб зменшити залежність від американського обладнання.
• Кластерна стратегія: Обидві сторони дедалі більше конкурують у створенні великих AI-систем та кластерів суперкомп'ютерного масштабу, а не окремих чіпів.

Отже, гонка AI-чіпів — це не просто змагання кількості транзисторів або TFLOPів. Це також конкуренція екосистем, виробничих можливостей та здатності масштабувати тисячі прискорювачів в ефективну AI-інфраструктуру.

Оскільки генеративні AI-моделі продовжують зростати, ці відмінності в архітектурі, системах пам'яті та програмних екосистемах, ймовірно, визначать, які платформи домінуватимуть у майбутніх AI-обчисленнях.