Huawei продемонструвала історичний результат. Ascend 950DT разом із фреймворком CANN отримала повну готовність стека в день релізу — вперше не-CUDA-платформа досягла такого рівня готовності для передової моделі цього масштабу .

Окремі випробування чипа Ascend 950PR показали, що його продуктивність у FP4 була у 2,87 раза вищою, ніж у Nvidia H20, а в окремих сценаріях MoE-інференсу, зокрема під час RL-розгортання, перевага сягала 1,96 раза . Водночас абсолютна продуктивність Huawei все ще обмежена можливостями виробництва чипів, тому до найкращих результатів Nvidia їй далеко.

AMD: провальний старт і 110,5-кратне відновлення

Перший результат AMD MI355X був різко слабшим. У день запуску карта фактично працювала лише з FP8: рідний чекпойнт DeepSeek V4 Pro у форматі FP4+FP8 був непридатним до використання. На навантаженні 8K/1K MI355X показала лише 20,4 токена/с на GPU і 2,4 токена/с на користувача .

Але далі почався один із найпомітніших програмних ривків в історії AI-інфраструктури. Команда AMD SGLang під технічним керівництвом HaiShaw за 26 днів внесла 31 оптимізаційний pull request у бічну гілку amd/deepseek_v4 . Розробники послідовно виправляли та оптимізували рівні стека ROCm, які майже не тестувалися на MoE-моделі такого масштабу.

До 20 травня 2026 року, на 26-й день після релізу, MI355X уже досягла 2 256 токенів/с на GPU і 9,4 токена/с на користувача в тому самому сценарії 8K/1K. Це означає 110,5-кратне зростання пропускної здатності та одночасне покращення інтерактивності у 3,85 раза .

Цей випадок особливо показовий: зросли і загальна пропускна здатність, і швидкість відповіді для окремого користувача. Зазвичай оптимізація одного показника відбувається за рахунок іншого.

За зіставної інтерактивності MI355X на 26-й день показувала близько 1 411 токенів/с на GPU, тобто опинилася в одному конкурентному діапазоні з Nvidia B200 на низьких рівнях інтерактивності . До GB300 NVL72 вона все ще не дотягує, але шлях від практично непридатного запуску до робочого продукту для інференсу виявився надзвичайно коротким.

Результати через 43 дні

За низької інтерактивності GB300 NVL72 генерує мільйон токенів приблизно за $0,064 — орієнтовно у 4,5 раза дешевше, ніж MI355X із показником $0,291 .

На вищих рівнях інтерактивності, коли одночасних користувачів менше, а швидкість відповіді для кожного важливіша, MI355X стає конкурентнішою щодо B200. У відповідних точках обидві платформи демонструють близько $1,22–$1,45 за 1 млн токенів .

Чому архітектура DeepSeek V4 важливіша за самі GPU

Вражаючі цифри тестів були б неможливими без змін у самій моделі. У стандартному Transformer-механізмі уваги витрати зростають квадратично разом із довжиною контексту. На рівні 1 мільйона токенів це створює надто велике навантаження на обчислення та пам’ять.

DeepSeek V4 використовує гібридну архітектуру уваги з двох механізмів.

Compressed Sparse Attention (CSA), або стиснена розріджена увага, працює з деталізованими фрагментами контексту. Приблизно кожні чотири токени об’єднуються в один навчений KV-запис із вагами, що залежать від даних. Потім для кожного запиту вибираються лише найрелевантніші стиснені записи. За цей вибір відповідає компонент Lightning Indexer . Паралельна ковзна віконна увага допомагає зберегти точність на локальному рівні .

Heavily Compressed Attention (HCA), або глибоко стиснена увага, робить значно агресивніше стиснення: до 128 токенів перетворюються на один KV-запис, після чого над стисненим потоком виконується щільна увага . Це зменшує точність вибіркового пошуку, але дає моделі дешевий глобальний огляд усього контексту. HCA використовується на ранніх шарах, а на фінальному шарі зберігається повна увага для максимальної точності .

Порівняно з DeepSeek V3.2 у сценарії з контекстом на 1 мільйон токенів DeepSeek V4 Pro потребує:

• лише 27% обчислень на токен, тобто на 73% менше ;
• приблизно 10% пам’яті KV-кешу, що означає скорочення приблизно на 90% ;
• близько 2% обсягу кешу порівняно з базовою архітектурою GQA у форматі bfloat16 .

У компактнішої моделі V4 Flash показники ще нижчі: близько 10% обчислень і 7% KV-кешу від рівня V3.2 .

KV-кеш — це пам’ять, у якій модель зберігає проміжну інформацію про вже опрацьований контекст. Саме він стає одним із головних обмежень під час роботи з дуже довгими послідовностями. Тому скорочення кешу на 90% має не лише технічне, а й безпосереднє економічне значення.

Без CSA та HCA модель Pro із 1,6 трильйона параметрів і мільйонним контекстом залишалася б радше науковим експериментом. Завдяки цим механізмам вона перетворюється на потенційно комерційний продукт.

Що показав цей тест

43-денне спостереження SemiAnalysis дає змогу зробити три висновки.

По-перше, перевага Nvidia полягає не лише у швидшому залізі. CUDA, vLLM і SGLang забезпечують готовність у день запуску, що критично важливо для операторів дата-центрів, які не можуть чекати тижнями на адаптацію нової моделі.

По-друге, Huawei фактично ліквідувала розрив саме у програмній готовності: Ascend і CANN змогли підтримати DeepSeek V4 Pro одразу. Це важливий сигнал для розвитку альтернативної AI-екосистеми, хоча обмеження виробничих потужностей поки не дають Huawei зрівнятися з Nvidia за піковою продуктивністю .

По-третє, AMD довела, що MI355X має значний потенціал, але водночас показала слабкість ROCm. Покращення у 110,5 раза за 26 днів вражає, однак для зрілого програмного стека такі масштабні «рятувальні» роботи після кожного релізу передової моделі не повинні бути нормою.

Найважливіший висновок стосується самої архітектури DeepSeek. CSA та HCA змінюють межі економічно доцільного інференсу. Коли модель із 1,6 трильйона параметрів і контекстом на мільйон токенів можна обслуговувати за лічені центи за мільйон токенів на відповідному обладнанні, питання вже не лише в тому, чи можливо це технічно, а й у тому, які продукти можна на цьому побудувати.

Huawei продемонструвала історичний результат. Ascend 950DT разом із фреймворком CANN отримала повну готовність стека в день релізу — вперше не-CUDA-платформа досягла такого рівня готовності для передової моделі цього масштабу .

Окремі випробування чипа Ascend 950PR показали, що його продуктивність у FP4 була у 2,87 раза вищою, ніж у Nvidia H20, а в окремих сценаріях MoE-інференсу, зокрема під час RL-розгортання, перевага сягала 1,96 раза . Водночас абсолютна продуктивність Huawei все ще обмежена можливостями виробництва чипів, тому до найкращих результатів Nvidia їй далеко.

AMD: провальний старт і 110,5-кратне відновлення

Перший результат AMD MI355X був різко слабшим. У день запуску карта фактично працювала лише з FP8: рідний чекпойнт DeepSeek V4 Pro у форматі FP4+FP8 був непридатним до використання. На навантаженні 8K/1K MI355X показала лише 20,4 токена/с на GPU і 2,4 токена/с на користувача .

Але далі почався один із найпомітніших програмних ривків в історії AI-інфраструктури. Команда AMD SGLang під технічним керівництвом HaiShaw за 26 днів внесла 31 оптимізаційний pull request у бічну гілку amd/deepseek_v4 . Розробники послідовно виправляли та оптимізували рівні стека ROCm, які майже не тестувалися на MoE-моделі такого масштабу.

До 20 травня 2026 року, на 26-й день після релізу, MI355X уже досягла 2 256 токенів/с на GPU і 9,4 токена/с на користувача в тому самому сценарії 8K/1K. Це означає 110,5-кратне зростання пропускної здатності та одночасне покращення інтерактивності у 3,85 раза .

Цей випадок особливо показовий: зросли і загальна пропускна здатність, і швидкість відповіді для окремого користувача. Зазвичай оптимізація одного показника відбувається за рахунок іншого.

За зіставної інтерактивності MI355X на 26-й день показувала близько 1 411 токенів/с на GPU, тобто опинилася в одному конкурентному діапазоні з Nvidia B200 на низьких рівнях інтерактивності . До GB300 NVL72 вона все ще не дотягує, але шлях від практично непридатного запуску до робочого продукту для інференсу виявився надзвичайно коротким.

Результати через 43 дні

За низької інтерактивності GB300 NVL72 генерує мільйон токенів приблизно за $0,064 — орієнтовно у 4,5 раза дешевше, ніж MI355X із показником $0,291 .

На вищих рівнях інтерактивності, коли одночасних користувачів менше, а швидкість відповіді для кожного важливіша, MI355X стає конкурентнішою щодо B200. У відповідних точках обидві платформи демонструють близько $1,22–$1,45 за 1 млн токенів .

Чому архітектура DeepSeek V4 важливіша за самі GPU

Вражаючі цифри тестів були б неможливими без змін у самій моделі. У стандартному Transformer-механізмі уваги витрати зростають квадратично разом із довжиною контексту. На рівні 1 мільйона токенів це створює надто велике навантаження на обчислення та пам’ять.

DeepSeek V4 використовує гібридну архітектуру уваги з двох механізмів.

Compressed Sparse Attention (CSA), або стиснена розріджена увага, працює з деталізованими фрагментами контексту. Приблизно кожні чотири токени об’єднуються в один навчений KV-запис із вагами, що залежать від даних. Потім для кожного запиту вибираються лише найрелевантніші стиснені записи. За цей вибір відповідає компонент Lightning Indexer . Паралельна ковзна віконна увага допомагає зберегти точність на локальному рівні .

Heavily Compressed Attention (HCA), або глибоко стиснена увага, робить значно агресивніше стиснення: до 128 токенів перетворюються на один KV-запис, після чого над стисненим потоком виконується щільна увага . Це зменшує точність вибіркового пошуку, але дає моделі дешевий глобальний огляд усього контексту. HCA використовується на ранніх шарах, а на фінальному шарі зберігається повна увага для максимальної точності .

Порівняно з DeepSeek V3.2 у сценарії з контекстом на 1 мільйон токенів DeepSeek V4 Pro потребує:

• лише 27% обчислень на токен, тобто на 73% менше ;
• приблизно 10% пам’яті KV-кешу, що означає скорочення приблизно на 90% ;
• близько 2% обсягу кешу порівняно з базовою архітектурою GQA у форматі bfloat16 .

У компактнішої моделі V4 Flash показники ще нижчі: близько 10% обчислень і 7% KV-кешу від рівня V3.2 .

KV-кеш — це пам’ять, у якій модель зберігає проміжну інформацію про вже опрацьований контекст. Саме він стає одним із головних обмежень під час роботи з дуже довгими послідовностями. Тому скорочення кешу на 90% має не лише технічне, а й безпосереднє економічне значення.

Без CSA та HCA модель Pro із 1,6 трильйона параметрів і мільйонним контекстом залишалася б радше науковим експериментом. Завдяки цим механізмам вона перетворюється на потенційно комерційний продукт.

Що показав цей тест

43-денне спостереження SemiAnalysis дає змогу зробити три висновки.

По-перше, перевага Nvidia полягає не лише у швидшому залізі. CUDA, vLLM і SGLang забезпечують готовність у день запуску, що критично важливо для операторів дата-центрів, які не можуть чекати тижнями на адаптацію нової моделі.

По-друге, Huawei фактично ліквідувала розрив саме у програмній готовності: Ascend і CANN змогли підтримати DeepSeek V4 Pro одразу. Це важливий сигнал для розвитку альтернативної AI-екосистеми, хоча обмеження виробничих потужностей поки не дають Huawei зрівнятися з Nvidia за піковою продуктивністю .

По-третє, AMD довела, що MI355X має значний потенціал, але водночас показала слабкість ROCm. Покращення у 110,5 раза за 26 днів вражає, однак для зрілого програмного стека такі масштабні «рятувальні» роботи після кожного релізу передової моделі не повинні бути нормою.

Найважливіший висновок стосується самої архітектури DeepSeek. CSA та HCA змінюють межі економічно доцільного інференсу. Коли модель із 1,6 трильйона параметрів і контекстом на мільйон токенів можна обслуговувати за лічені центи за мільйон токенів на відповідному обладнанні, питання вже не лише в тому, чи можливо це технічно, а й у тому, які продукти можна на цьому побудувати.