NVIDIA הוזילה פי 5 את עלות ההסקה של DeepSeek V4 ב-Blackwell — בלי לשנות שבב אחד

מאמר זה מפרט בדיוק אילו אופטימיזציות NVIDIA פרסה, מה המפרט המלא של משפחת DeepSeek V4, אילו ספקי הסקה כבר משתמשים בשיפורים הללו, וכיצד NVIDIA ממסגרת את ההיגיון הכלכלי של התמקדותה בעלות לטוקן.

האופטימיזציות שמאחורי הפחתת העלות פי 5

NVIDIA מחלקת את ערימת האופטימיזציה שלושה רבדים: תפעול ייצור, האצת יישומים וגישה לתשתית . הטכניקות הספציפיות שהובילו לשיפור של פי 5:

מסגרת NVIDIA Dynamo

Dynamo היא מסגרת שירות מבוזרת בקוד פתוח המפרידה בין שלבי ההסקה על פני GPUs שונים. היא מפרידה בין שלב ה-prefill (עיבוד קלט) ל-decode (יצירת טוקנים), מנתבת בקשות ל-GPU הנכון כדי להימנע מחישובים כפולים, ומרחיבה זיכרון GPU באמצעות מטמון מבוסס NVLink לשכבות אחסון חסכוניות . Dynamo תומכת ב-SGLang, TensorRT-LLM ו-vLLM, ומשתלבת איתן באופן טבעי . על פי מדד InferenceX של SemiAnalysis, המסגרת יכולה להגדיל את מספר הבקשות המטופלות עד פי 7 על NVIDIA Blackwell .

אופטימיזציות TensorRT-LLM

NVIDIA השיגה הפחתה של פי 5 בעלות לטוקן באמצעות אופטימיזציה של TensorRT-LLM בלבד, בתוך חודשיים מהשקת Blackwell, וללא שינוי חומרה . בקנה מידה של מרכז נתונים, הפחתה כזו בעלות לטוקן משקפת שיפור של פי ביכולת הניהוב של אותה השקעת תשתית .

שירות מבוזר (Disaggregated Serving)

הפרדת שלבי prefill ו-decode על פני GPUs שונים מונעת תחרות על משאבים ומאפשרת אופטימיזציה עצמאית של כל שלב . זהו מאפיין מרכזי במסגרת Dynamo .

מקביליות נרחבת של מומחים (Large-Scale Expert Parallelism)

DeepSeek V4 משתמש בארכיטקטורת Mixture-of-Experts (MoE) עם 384 מומחים מבוזרים . ניתוב אופטימלי מפזר טוקנים בין המומחים ומפחית חישובים כפולים .

תקשורת מקבילית מבוססת NVLink

הממשק המהיר של NVIDIA מאפשר תקשורת יעילה בין כל המומחים, קריטית עבור דגמי MoE שבהם מקביליות מומחים דורשת החלפות נתונים תכופות .

דיוק NVFP4

שימוש בדיוק נקודה צפה של 4 סיביות להסקה מפחית את דרישות רוחב הפס והחישוב מבלי לפגוע משמעותית בדיוק . עבור DeepSeek-V3.2, קוונטיזציית NVFP4 הפחיתה את טביעת הזיכרון פי 1.7 לעומת פורמט FP8 המקורי (415GB לעומת 690GB), מה שהוביל לשיפור ניכר בתפוקה .

חיזוי רב-טוקנים (Multi-Token Prediction, MTP)

MTP מייצר מספר טוקנים בכל מעבר קדימה, ומגדיל את התפוקה. התמיכה הראשונה ב-MTP עבור DeepSeek V4 הגיעה ביום 3 מ-SGLang . בהמשך, SGLang השיגה למעלה מ-12,000 טוקנים בשנייה לכל GPU בחומרת GB300 NVL72 .

קרנלי CUDA מותאמים

לא כל האופטימיזציות הגיעו מ-NVIDIA. SemiAnalysis נאלצה לתקן את קוד הקרנל mHC (manifold-constrained hyper-connection) של NVIDIA, מכיוון ש-TensorRT-LLM לא עבד היטב בהתחלה עם הארכיטקטורה החדשה של DeepSeek V4 . תרומה קהילתית זו הייתה חיונית להשקה איכותית.

מתכוני SGLang

LMSYS Org השיגה עלייה מוכחת של פי 5 בתפוקה על חומרת GB300 NVL72 באמצעות SGLang, מ-2,200 ל-11,200 טוקנים בשנייה לכל GPU . מטריצת התמיכה של Dynamo מציינת את lmsysorg/sglang:deepseek-v4-blackwell כתצורה נתמכת .

יחד, אופטימיזציות אלו מספקות עד פי 20 יותר תפוקה לכל GPU ב-Blackwell .

מפרט משפחת DeepSeek V4

DeepSeek V4 שוחררה ב-24 באפריל 2026 תחת רישיון MIT כמשפחת דגמים דו-שכבתית .

מקורות:

ארכיטקטורת התשומת לב ההיברידית משלבת Compressed Sparse Attention (CSA) ו-Heavily Compressed Attention (HCA), ומשיגה רק 27% מ-FLOPs ההסקה של DeepSeek-V3.2 בהקשר של מיליון טוקנים . יעילות זו היא שהופכת הקשרים סוכנותיים עצומים כאלה לכדאיים מבחינה חישובית.

ספקי הסקה שכבר משתמשים באופטימיזציות

מספר ספקים ומנועי הסקה פרסו את אופטימיזציות התוכנה של NVIDIA עבור DeepSeek V4 על Blackwell:

• LMSYS Org (SGLang) — השיגה עלייה מוכחת של פי 5 בתפוקה על חומרת GB300 NVL72 (23 ביוני 2026) . SGLang גם עקפה 12,000 טוק/ש' לכל GPU על אותה חומרה .
• NVIDIA NIM — ערימת שירותי ההסקה של NVIDIA מציעה נקודות קצה של DeepSeek-V4-Pro דרך קטלוג ה-API של NVIDIA .
• vLLM — מנוע ההסקה בקוד פתוח סיפק תמיכה ב-DeepSeek V4 תוך ימים מהשקה, משולב עם NVIDIA Dynamo להסקה מבוזרת ב-GB200 .
• TensorRT-LLM — זמן הריצה המהיר של NVIDIA, אף שלאימוץ המוקדם היו בעיות עם קוד קרנל mHC בהן SemiAnalysis סייעה .
• DeepInfra — מציעה נקודות קצה של DeepSeek V4 Pro ב-$0.435/מיליון טוקני קלט ו-$0.87/מיליון טוקני פלט .
• Together AI, Fireworks AI, Baseten — NVIDIA מציינת פריסה רחבה דרך נקודות קצה מואצות GPU, כאשר ספקים אלו הפחיתו עלות לטוקן בעד פי 10 לעומת Hopper .

ספקים כמו Together AI ו-Baseten הפחיתו עלות לטוקן ב-90% לעומת Hopper לאחר אימוץ Blackwell, לפי NVIDIA .

המסגור הכלכלי של NVIDIA לעומסי עבודה סוכנותיים

NVIDIA מציבה את העלות לטוקן כמדד החשוב ביותר לעלות בעלות כוללת (TCO) — תוך דחייה מפורשת של מדדים ישנים כמו עלות לשעת GPU או FLOPS לדולר . ג'נסן הואנג הכריז באפריל 2026 כי "העלות לטוקן של NVIDIA היא הנמוכה בעולם", והגדיר זאת כ"תוצאה ישירה של מצוינות ארכיטקטונית ועיצוב-משותף קיצוני" .

ההיגיון מאחורי מעבר מדדים זה קשור ישירות לAI סוכנותי:

עומסי עבודה סוכנותיים צורכים חישובי הסקה עצומים

ככל ש-AI עובר מתשובות חד-פעמיות להיגיון רב-שלבי — תכנון, שליפת הקשר, הפעלת כלים, רפלקציה ותיקון עצמי — מספר הטוקנים שנוצרים לכל שאילתה יכול לגדול פי 100 עד 1,000 . משימת סוכן יחידה יכולה לעלות $0.10 עד $1.00 בחישובי הסקה . ניתוח של Gartner ממרץ 2026 אישר שדגמי AI סוכנותיים דורשים פי 5-30 יותר טוקנים למשימה לעומת צ'אטבוטים רגילים .

הסקה היא מרכז העלויות הדומיננטי

הערכות בתעשייה מצביעות על כך ש-55–80% מהוצאות GPU הארגוניות מוקדשות להסקה, לא לאימון . Deloitte מעריכה שהסקה מהווה כשני שלישים מכלל חישובי AI ב-2026, לעומת שליש ב-2023 . הסקה אחראית גם ל-80 עד 90 אחוזים מעלות החיים של מערכת AI יצרנית .

אופטימיזציית תוכנה פותחת ערך עצום ללא חומרה חדשה

NVIDIA ממסגרת זאת במפורש כיתרון אסטרטגי: "NVIDIA השיגה הפחתה של פי 5 בעלות לטוקן באמצעות אופטימיזציית TensorRT-LLM בלבד בתוך חודשיים מהשקת Blackwell, ללא שינוי חומרה" . בקנה מידה של מרכז נתונים, הפחתה כזו קובעת ישירות האם עומסי עבודה סוכנותיים הופכים לכדאיים כלכלית . תוכנת ההסקה של NVIDIA ממשיכה להוזיל מחירי טוקנים הרבה אחרי שתשתית AI נפרסת .

עלות לטוקן היא "מדד ה-TCO היחיד שחשוב"

NVIDIA טוענת שעלות לטוקן היא המדד היחיד המתחשב ישירות בביצועי חומרה, אופטימיזציית תוכנה, תמיכת מערכת אקולוגית וניצול בעולם האמיתי . החברה מפרסמת "העלות הנמוכה ביותר לטוקן" כהצעת הערך המרכזית של Blackwell . ה-B200 משיג שתי סנט למיליון טוקנים על GPT-OSS-120B, והארכיטקטורה הוזילה עלות למיליון טוקנים פי 15 לעומת הדור הקודם .

לסיכום, המסר של NVIDIA ברור: AI סוכנותי דורש יותר טוקני הסקה בכל משימה; אופטימיזציות תוכנה ברמת ההסקה ב-Blackwell יכולות לחתוך עלויות אלו פי 5 ללא חומרה חדשה, ובכך לקבוע ישירות האם פריסות סוכנותיות בהיקף גדול הן רווחיות .