במדידות מאוחרות יותר, בתנאי הפעלה מסוימים, GB300 NVL72 הגיע לעד 11,474 טוקנים לשנייה ל-GPU .

Huawei: סגירת פער המוכנות התוכנתית

Huawei השיגה הישג משמעותי עם Ascend 950DT ומסגרת CANN: תמיכה מלאה בכל שכבת התוכנה כבר ביום ההשקה, ברמה המקבילה למערכת CUDA של Nvidia. לפי הנתונים הזמינים, זו הפעם הראשונה שבה פלטפורמה שאינה CUDA מגיעה למוכנות כזו ביום הראשון עבור מודל בחזית הטכנולוגיה ובקנה מידה זה .

מדידות עצמאיות על שבב Ascend 950PR הצביעו על ביצועי חישוב FP4 הגבוהים פי 2.87 מאלה של H20, ועל הרצת MoE מהירה עד פי 1.96 בתהליכי RL . עם זאת, מגבלות הייצור של שבבים בסין עדיין מציבות תקרה לביצועים המוחלטים, ולכן התפוקה הכוללת נותרת מאחורי הפתרונות המתקדמים ביותר של Nvidia.

AMD: פתיחה חלשה במיוחד

ההשקה של AMD הייתה כמעט כישלון תפעולי. ביום הראשון MI355X הצליח להריץ רק FP8; נקודת הבדיקה המקורית של DeepSeek V4 Pro, ששילבה FP4 ו-FP8, לא הייתה שמישה. בתרחיש של 8K/1K נמדדו תחילה 20.4 טוקנים לשנייה ל-GPU, בקצב של 2.4 טוקנים לשנייה למשתמש .

הבעיה לא הייתה בהכרח בכוח החישוב הגולמי של השבב, אלא בכך ש-ROCm — מחסנית התוכנה של AMD — עדיין לא הייתה מותאמת למודל MoE בסדר גודל כזה.

בתוך 26 ימים: שיפור של פי 110.5 ב-MI355X

מכאן החל אחד ממבצעי האופטימיזציה המרשימים שנראו לאחרונה בתשתיות AI. צוות ההנדסה של AMD ב-SGLang, בהובלת HaiShaw, מיזג בתוך 26 ימים 31 בקשות לשינויי ביצועים בענף amd/deepseek_v4 .

כל שינוי טיפל בשכבה אחרת במחסנית ROCm — החל מקרנלים ועד לניהול זיכרון ותקשורת בין רכיבים — אזורים שלא נבחנו קודם עם מודל MoE בהיקף כזה.

עד היום ה-26, 20 במאי 2026, הגיעה MI355X ל-2,256 טוקנים לשנייה ל-GPU, בקצב של 9.4 טוקנים לשנייה למשתמש, באותו עומס 8K/1K. מדובר בשיפור של פי 110.5 בתפוקה ל-GPU, לצד שיפור של פי 3.85 במדד האינטראקטיביות .

זהו מקרה נדיר שבו שני המדדים משתפרים יחד: המערכת משרתת יותר משתמשים במקביל, ובו בזמן מספקת תגובה מהירה יותר לכל משתמש. בתנאי אינטראקטיביות דומים ב-InferenceX, ה-MI355X ביום ה-26 הגיעה לכ-1,411 טוקנים לשנייה ל-GPU — רמה שמציבה אותה באותה קטגוריה תחרותית של Nvidia B200 בתנאי עומס נמוכים .

היא עדיין רחוקה מ-GB300 NVL72, שהגיעה בתנאים מיטביים לעד 11,474 טוקנים לשנייה ל-GPU, אך המסלול חשוב: AMD עברה מהשקה כמעט בלתי שמישה לפלטפורמת הסקה אפשרית לשימוש מסחרי .

טבלת ההשוואה לאחר 43 ימים

העלות למיליון טוקנים ממחישה את הפער הכלכלי. ברמת אינטראקטיביות נמוכה, GB300 NVL72 מספקת טוקנים בעלות של 0.064 דולר למיליון — זול בערך פי 4.5 מה-MI355X, בעלות של 0.291 דולר .

ברמות אינטראקטיביות גבוהות יותר, שבהן מספר המשתמשים המקביל נמוך יותר והמהירות למשתמש גבוהה יותר, ה-MI355X נעשית תחרותית מול B200. בשתי המערכות נמדדה עלות של כ-1.22–1.45 דולר למיליון טוקנים סביב 23–24 משתמשים במקביל .

הסיבה שהכול אפשרי: CSA ו-HCA

נתוני החומרה מרשימים, אבל הם לא היו מספיקים לבדם. הסיבה ש-DeepSeek V4 Pro יכול בכלל לפעול בהקשר של מיליון טוקנים היא שינוי עמוק במנגנון הקשב של המודל.

במודלי Transformer רגילים, עלות הקשב גדלה באופן ריבועי עם אורך ההקשר. כשמגיעים למיליון טוקנים, גם החישוב וגם הזיכרון הנדרש עלולים להפוך את השירות לבלתי משתלם. DeepSeek V4 מחליף את הגישה הסטנדרטית במנגנון היברידי המשלב שתי שיטות:

Compressed Sparse Attention (CSA) פועלת ברמת פירוט גבוהה יחסית. היא מאגדת בערך ארבעה טוקנים לרשומת KV אחת שנלמדה באמצעות שקלול תלוי-נתונים, ולאחר מכן בוחרת רק את הרשומות הרלוונטיות ביותר לכל שאילתה. רכיב בשם Lightning Indexer מבצע את הבחירה הדלילה. במקביל פועל גם ענף של sliding-window attention כדי לשמר דיוק מקומי .

Heavily Compressed Attention (HCA) מהמרת על תמונה רחבה יותר: עד 128 טוקנים נדחסים לרשומת KV יחידה, ועל הזרם הדחוס מתבצע קשב צפוף . השיטה מוותרת על חלק מדיוק האחזור לטובת כיסוי גלובלי וזול מאוד. בשכבות המוקדמות היא מספקת תמונת מצב כללית של ההקשר, ואילו בשכבה האחרונה נשמר קשב מלא כדי להחזיר דיוק מרבי .

התוצאה בהשוואה ל-DeepSeek V3.2, בהקשר של מיליון טוקנים, דרמטית:

• חישובי הסקה לכל טוקן: 27% בלבד מהדרישה של V3.2 — ירידה של 73% .
• זיכרון KV cache: כ-10% מהדרישה של V3.2 — ירידה של כ-90% .
• בהשוואה לארכיטקטורת GQA עם דיוק bfloat16: בערך 2% מנפח ה-cache .

בגרסת V4 Flash החיסכון גדול אף יותר: כ-10% מחישובי ה-FLOPs וכ-7% מזיכרון ה-KV cache לעומת V3.2 .

KV cache הוא הזיכרון שבו המודל שומר ייצוגים של הטוקנים שכבר עיבד. ככל שהשיחה, המסמך או רצף הפעולות ארוכים יותר, כך הזיכרון הזה גדל. לכן צמצום ה-cache אינו רק שיפור טכני — הוא קובע אם אפשר להפעיל את המודל בעלות סבירה.

המסקנה: המערכת כולה מנצחת, לא רק השבב

המעקב בן 43 הימים מציג שלוש מסקנות מרכזיות.

ראשית, היתרון של Nvidia הוא יתרון של אקוסיסטם. CUDA, vLLM ו-SGLang עובדים יחד כבר ביום ההשקה, והחומרה עצמה מובילה בתפוקה ובעלות. שנית, Huawei סגרה את פער המוכנות התוכנתית — שינוי משמעותי עבור שוק המאיצים, גם אם הביצועים המוחלטים עדיין מוגבלים על ידי הייצור .

שלישית, AMD הוכיחה שה-MI355X מסוגלת להתחרות כאשר מחסנית התוכנה מותאמת כראוי. אבל העובדה שנדרשו 31 תיקונים ו-26 ימי עבודה כדי להגיע לשם מדגישה גם את החולשה: כל מודל חדש בחזית הטכנולוגיה עלול לדרוש מאמץ הנדסי חריג לפני שהחומרה תהיה שימושית באמת .

ובכל זאת, הסיפור הגדול ביותר שייך ל-DeepSeek. CSA ו-HCA לא רק שיפרו את יעילות המודל — הן שינו את גבולות הכדאיות המסחרית של הקשר ארוך במיוחד. כאשר מודל עם 1.6 טריליון פרמטרים והקשר של מיליון טוקנים יכול לפעול בעלות של סנטים בודדים למיליון טוקנים על החומרה המתאימה, השאלה כבר אינה רק "האם אפשר להפעיל אותו?" אלא "מה אפשר לבנות איתו?"

במדידות מאוחרות יותר, בתנאי הפעלה מסוימים, GB300 NVL72 הגיע לעד 11,474 טוקנים לשנייה ל-GPU .

Huawei: סגירת פער המוכנות התוכנתית

Huawei השיגה הישג משמעותי עם Ascend 950DT ומסגרת CANN: תמיכה מלאה בכל שכבת התוכנה כבר ביום ההשקה, ברמה המקבילה למערכת CUDA של Nvidia. לפי הנתונים הזמינים, זו הפעם הראשונה שבה פלטפורמה שאינה CUDA מגיעה למוכנות כזו ביום הראשון עבור מודל בחזית הטכנולוגיה ובקנה מידה זה .

מדידות עצמאיות על שבב Ascend 950PR הצביעו על ביצועי חישוב FP4 הגבוהים פי 2.87 מאלה של H20, ועל הרצת MoE מהירה עד פי 1.96 בתהליכי RL . עם זאת, מגבלות הייצור של שבבים בסין עדיין מציבות תקרה לביצועים המוחלטים, ולכן התפוקה הכוללת נותרת מאחורי הפתרונות המתקדמים ביותר של Nvidia.

AMD: פתיחה חלשה במיוחד

ההשקה של AMD הייתה כמעט כישלון תפעולי. ביום הראשון MI355X הצליח להריץ רק FP8; נקודת הבדיקה המקורית של DeepSeek V4 Pro, ששילבה FP4 ו-FP8, לא הייתה שמישה. בתרחיש של 8K/1K נמדדו תחילה 20.4 טוקנים לשנייה ל-GPU, בקצב של 2.4 טוקנים לשנייה למשתמש .

הבעיה לא הייתה בהכרח בכוח החישוב הגולמי של השבב, אלא בכך ש-ROCm — מחסנית התוכנה של AMD — עדיין לא הייתה מותאמת למודל MoE בסדר גודל כזה.

בתוך 26 ימים: שיפור של פי 110.5 ב-MI355X

מכאן החל אחד ממבצעי האופטימיזציה המרשימים שנראו לאחרונה בתשתיות AI. צוות ההנדסה של AMD ב-SGLang, בהובלת HaiShaw, מיזג בתוך 26 ימים 31 בקשות לשינויי ביצועים בענף amd/deepseek_v4 .

כל שינוי טיפל בשכבה אחרת במחסנית ROCm — החל מקרנלים ועד לניהול זיכרון ותקשורת בין רכיבים — אזורים שלא נבחנו קודם עם מודל MoE בהיקף כזה.

עד היום ה-26, 20 במאי 2026, הגיעה MI355X ל-2,256 טוקנים לשנייה ל-GPU, בקצב של 9.4 טוקנים לשנייה למשתמש, באותו עומס 8K/1K. מדובר בשיפור של פי 110.5 בתפוקה ל-GPU, לצד שיפור של פי 3.85 במדד האינטראקטיביות .

זהו מקרה נדיר שבו שני המדדים משתפרים יחד: המערכת משרתת יותר משתמשים במקביל, ובו בזמן מספקת תגובה מהירה יותר לכל משתמש. בתנאי אינטראקטיביות דומים ב-InferenceX, ה-MI355X ביום ה-26 הגיעה לכ-1,411 טוקנים לשנייה ל-GPU — רמה שמציבה אותה באותה קטגוריה תחרותית של Nvidia B200 בתנאי עומס נמוכים .

היא עדיין רחוקה מ-GB300 NVL72, שהגיעה בתנאים מיטביים לעד 11,474 טוקנים לשנייה ל-GPU, אך המסלול חשוב: AMD עברה מהשקה כמעט בלתי שמישה לפלטפורמת הסקה אפשרית לשימוש מסחרי .

טבלת ההשוואה לאחר 43 ימים

העלות למיליון טוקנים ממחישה את הפער הכלכלי. ברמת אינטראקטיביות נמוכה, GB300 NVL72 מספקת טוקנים בעלות של 0.064 דולר למיליון — זול בערך פי 4.5 מה-MI355X, בעלות של 0.291 דולר .

ברמות אינטראקטיביות גבוהות יותר, שבהן מספר המשתמשים המקביל נמוך יותר והמהירות למשתמש גבוהה יותר, ה-MI355X נעשית תחרותית מול B200. בשתי המערכות נמדדה עלות של כ-1.22–1.45 דולר למיליון טוקנים סביב 23–24 משתמשים במקביל .

הסיבה שהכול אפשרי: CSA ו-HCA

נתוני החומרה מרשימים, אבל הם לא היו מספיקים לבדם. הסיבה ש-DeepSeek V4 Pro יכול בכלל לפעול בהקשר של מיליון טוקנים היא שינוי עמוק במנגנון הקשב של המודל.

במודלי Transformer רגילים, עלות הקשב גדלה באופן ריבועי עם אורך ההקשר. כשמגיעים למיליון טוקנים, גם החישוב וגם הזיכרון הנדרש עלולים להפוך את השירות לבלתי משתלם. DeepSeek V4 מחליף את הגישה הסטנדרטית במנגנון היברידי המשלב שתי שיטות:

Compressed Sparse Attention (CSA) פועלת ברמת פירוט גבוהה יחסית. היא מאגדת בערך ארבעה טוקנים לרשומת KV אחת שנלמדה באמצעות שקלול תלוי-נתונים, ולאחר מכן בוחרת רק את הרשומות הרלוונטיות ביותר לכל שאילתה. רכיב בשם Lightning Indexer מבצע את הבחירה הדלילה. במקביל פועל גם ענף של sliding-window attention כדי לשמר דיוק מקומי .

Heavily Compressed Attention (HCA) מהמרת על תמונה רחבה יותר: עד 128 טוקנים נדחסים לרשומת KV יחידה, ועל הזרם הדחוס מתבצע קשב צפוף . השיטה מוותרת על חלק מדיוק האחזור לטובת כיסוי גלובלי וזול מאוד. בשכבות המוקדמות היא מספקת תמונת מצב כללית של ההקשר, ואילו בשכבה האחרונה נשמר קשב מלא כדי להחזיר דיוק מרבי .

התוצאה בהשוואה ל-DeepSeek V3.2, בהקשר של מיליון טוקנים, דרמטית:

• חישובי הסקה לכל טוקן: 27% בלבד מהדרישה של V3.2 — ירידה של 73% .
• זיכרון KV cache: כ-10% מהדרישה של V3.2 — ירידה של כ-90% .
• בהשוואה לארכיטקטורת GQA עם דיוק bfloat16: בערך 2% מנפח ה-cache .

בגרסת V4 Flash החיסכון גדול אף יותר: כ-10% מחישובי ה-FLOPs וכ-7% מזיכרון ה-KV cache לעומת V3.2 .

KV cache הוא הזיכרון שבו המודל שומר ייצוגים של הטוקנים שכבר עיבד. ככל שהשיחה, המסמך או רצף הפעולות ארוכים יותר, כך הזיכרון הזה גדל. לכן צמצום ה-cache אינו רק שיפור טכני — הוא קובע אם אפשר להפעיל את המודל בעלות סבירה.

המסקנה: המערכת כולה מנצחת, לא רק השבב

המעקב בן 43 הימים מציג שלוש מסקנות מרכזיות.

ראשית, היתרון של Nvidia הוא יתרון של אקוסיסטם. CUDA, vLLM ו-SGLang עובדים יחד כבר ביום ההשקה, והחומרה עצמה מובילה בתפוקה ובעלות. שנית, Huawei סגרה את פער המוכנות התוכנתית — שינוי משמעותי עבור שוק המאיצים, גם אם הביצועים המוחלטים עדיין מוגבלים על ידי הייצור .

שלישית, AMD הוכיחה שה-MI355X מסוגלת להתחרות כאשר מחסנית התוכנה מותאמת כראוי. אבל העובדה שנדרשו 31 תיקונים ו-26 ימי עבודה כדי להגיע לשם מדגישה גם את החולשה: כל מודל חדש בחזית הטכנולוגיה עלול לדרוש מאמץ הנדסי חריג לפני שהחומרה תהיה שימושית באמת .

ובכל זאת, הסיפור הגדול ביותר שייך ל-DeepSeek. CSA ו-HCA לא רק שיפרו את יעילות המודל — הן שינו את גבולות הכדאיות המסחרית של הקשר ארוך במיוחד. כאשר מודל עם 1.6 טריליון פרמטרים והקשר של מיליון טוקנים יכול לפעול בעלות של סנטים בודדים למיליון טוקנים על החומרה המתאימה, השאלה כבר אינה רק "האם אפשר להפעיל אותו?" אלא "מה אפשר לבנות איתו?"