AnswersPublished18 sources
Cambricon מציגה תמיכת Day‑0 ל‑DeepSeek‑V4.1‑Flash ב‑vLLM
Cambricon מסרה כי התאימה את DeepSeek‑V4.1‑Flash ל‑vLLM ביום השקת נקודת הבדיקה, באמצעות סביבת NeuWare, תמיכת Torch‑MLU‑Ops וקרנלי BangC מותאמים. זהו מודל MoE רב־מצבי עם 552 מיליארד פרמטרי backbone, עד מיליון טוקנים של הקשר, וכ־8 מיליארד פרמטרים פעילים ב‑prefill לעומת 16 מיליארד ב‑decode.
פורסם על ידינערך באמצעות GPT-5.6 Terraהתמונות נוצרו באמצעות GPT Image 2
Research answer
Key takeaways
- Cambricon מסרה כי התאימה את DeepSeek‑V4.1‑Flash ל‑vLLM ביום השקת נקודת הבדיקה, באמצעות סביבת NeuWare, תמיכת Torch‑MLU‑Ops וקרנלי BangC מותאמים.
- זהו מודל MoE רב־מצבי עם 552 מיליארד פרמטרי backbone, עד מיליון טוקנים של הקשר, וכ־8 מיליארד פרמטרים פעילים ב‑prefill לעומת 16 מיליארד ב‑decode.
- לפי DeepSeek, מטמון ה‑KV הגלובלי צורך 890 בתים לטוקן — כרבע מהיקפו ב‑DeepSeek‑V4‑Flash — אך אלה נתוני תכנון של המודל, ולא מדדי ביצועים עצמאיים של אשכול Cambricon.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Cambricon achieve Day-0, production-ready enablement of DeepSeek-V4.1-Flash on the open-source vLLM inference stack using NeuWare, T. Article summary: Cambricon’s claimed Day‑0 result is primarily a software-integration achievement: it brought the new model up on the public vLLM serving path rather than requiring customers to wait for a private, hardware-specific port.. Topic tags: general, general web, documentation, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
הטענה של Cambricon ל־Day‑0 — תמיכה כבר ביום ההשקה — היא בראש ובראשונה הישג של אינטגרציית תוכנה ומוכנות תשתיתית. לפי החברה, ניתן היה להריץ את DeepSeek‑V4.1‑Flash על מאיצי MLU שלה דרך מנוע ההסקה הפתוח vLLM כבר ביום פרסום נקודת הבדיקה, בעזרת סביבת הריצה NeuWare, ספריית Torch‑MLU‑Ops וקרנלי BangC ממוטבים. 13
המשמעות המעשית: פרסום משקלי מודל אינו מספיק כדי להפעילו בייצור. נדרשים סביבת ריצה תקינה למאיץ, אופרטורים תואמי מסגרת, תמיכה בפריסה מבוזרת ומימושים יעילים של הפעולות החישוביות הכבדות ביותר.
שלוש שכבות התוכנה שמאחורי ההתאמה
Cambricon מתארת מסלול המורכב משלוש שכבות:
- NeuWare היא סביבת התוכנה וההרצה למאיצי ה־MLU של החברה.
- Torch‑MLU‑Ops מספקת תמיכת אופרטורים המודעים ל־MLU, לרבות עבור מבני Engram ו־Compressor של המודל, לפי הדיווחים על ההתאמה.
9
- BangC היא שפת התכנות המקבילית ההטרוגנית של Cambricon, המשמשת לכתיבת קרנלים עתירי ביצועים המותאמים לארכיטקטורת MLU.
18
השילוב מאפשר לשרת את המודל דרך backend מותאם למאיץ בתוך vLLM, במקום להסתמך על אפליקציית הגשה קניינית וחד־פעמית. Cambricon מציינת כי עבודתה הרחבה יותר סביב vLLM כוללת הסקה בדיוק מעורב ובמספר ביטים נמוך, אופטימיזציית מקביליות, מקביליות מומחים בקנה מידה גדול והפרדת prefill מ־decode. 18
למה DeepSeek‑V4.1‑Flash מאתגר במיוחד לפריסה
DeepSeek‑V4.1‑Flash הוא מודל Mixture‑of‑Experts (MoE) רב־מצבי, התומך בטקסט ובתמונות. למודל 552 מיליארד פרמטרי backbone, ועוד 196 מיליארד פרמטרי זיכרון Engram, והוא תומך בהקשר של עד מיליון טוקנים. 5
8
ההבחנה החשובה למפעילי תשתית היא בין מספר הפרמטרים הכולל למספר הפרמטרים הפעילים בכל שלב. DeepSeek מדווחת על הפעלה של כ־8 מיליארד פרמטרים לכל טוקן קלט בשלב ה־prefill, וכ־16 מיליארד פרמטרים לכל טוקן שנוצר בשלב ה־decode. 8
במילים פשוטות, עיבוד הפרומפט והפקת התשובה אינם צורכים אותו תקציב חישוב. זה עשוי להקטין את העלות החישובית בעומסי עבודה עתירי קלט, אולם עלות ההגשה בפועל עדיין תלויה במשקלים, בדיוק המספרי, גודל האצווה, תעבורת התקשורת בין המאיצים, נפח הזיכרון ותמהיל הבקשות.
ארכיטקטורת Causal Encoder–Decoder
למודל 40 שכבות במבנה Causal Encoder–Decoder (CED): מקודד סיבתי בן 20 שכבות ואחריו מפענח בן 20 שכבות. במקום שכל שכבת מפענח תחזיק מפתחות וערכים גלובליים משלה, מצב ה־KV הגלובלי במפענח מוקרן מהמצבים החבויים הסופיים של המקודד. 5
8
הבחירה הזו חשובה במיוחד להקשרים ארוכים. במהלך יצירה אוטורגרסיבית, מטמון ה־KV שומר מידע על הטוקנים הקודמים כדי שהמודל יוכל להתייחס אליהם בהמשך — ולכן הוא עלול להפוך לאחד מצווארי הבקבוק המרכזיים של זיכרון.
890 בתים לטוקן במטמון ה־KV
DeepSeek מדווחת כי שימוש חוזר בין שכבות במטמון ה־KV, במסגרת Compressed Sparse Attention 2, בשילוב מטמון KV בפורמט FP4, מצמצם את טביעת הזיכרון של מטמון ה־KV הגלובלי השמור ב־HBM ל־890 בתים לטוקן. לפי החברה, מדובר בכרבע מהנפח המקביל ב־DeepSeek‑V4‑Flash. 7
8
אותו חומר טכני מציין כי מנגנון SWA Bounded Replay מפחית את טביעת המטמון המתמשך — ב־SSD או בזיכרון המארח — לכשמינית מזו של V4‑Flash. 7
עבור מפעילי אשכולות, נתונים אלה מצביעים על שינוי אפשרי במגבלת המשאבים של שירות הקשרים ארוכים ורב־מצביות: פחות מצב KV לכל בקשה עשוי לפנות זיכרון ליותר הפעלות מקבילות. עם זאת, אלו נתוני תכנון שמדווחים על ידי DeepSeek, ולא מבחני קצה־לקצה בלתי תלויים על אשכול Cambricon. הם אינם מוכיחים תפוקה, השהיה, דיוק, זמינות או עלות מסוימים בכל פריסה.
איך אופטימיזציות ההגשה אמורות לעבוד יחד
בחומרי התוכנה של Cambricon מוזכרות כמה טכניקות רלוונטיות להגשת מודלי MoE גדולים באמצעות vLLM. 18
- הסקה בדיוק מעורב ובדיוק נמוך עשויה להפחית תעבורת זיכרון ואת נפח האחסון של משקלים ואקטיבציות.
- אופטימיזציית מקביליות ומקביליות מומחים רחבת היקף מיועדות לפזר את עבודת המודל ואת הרצת המומחים המנותבים בין מאיצים.
- חפיפה בין תקשורת לחישוב נועדה לנצל זמן שבו נתונים מועברים בין עובדים או מתבצעת תקשורת קולקטיבית, במקום להותיר מאיצים בהמתנה.
- הפרדת prefill ו־decode מאפשרת להקצות ולכוונן בנפרד משאבים לעיבוד הפרומפט וליצירת הטוקנים.
הגישות משלימות זו את זו: שלב ה־prefill נוטה להיות כבד בקלט וברוחב פס, ואילו שלב ה־decode הוא איטרטיבי ורגיש יותר להשהיה. ניתוב מומחים במודל MoE מוסיף גם תיאום מבוזר, שחייב להתבצע ביעילות. היעד אינו רק מספר FLOPS תיאורטי גבוה יותר, אלא ניצולת טובה יותר ושירות צפוי יותר בעומס מקבילי.
החומר הציבורי הזמין אינו כולל מדידות ניתנות לשחזור של תפוקה, השהיה, איכות מודל, טופולוגיית אשכול או זמינות שירות עבור V4.1‑Flash על חומרת Cambricon. לכן נכון לפרש את המונח „מוכן לייצור” כנתיב פריסה נתמך ושמיש — ולא כתחליף לבדיקת הסמכה עצמאית לפני התחייבות לקיבולת או להסכם רמת שירות.
מה מסמלת החברות ב־PyTorch Foundation
ב־8 בספטמבר 2026 הודיעה PyTorch Foundation כי Cambricon הצטרפה כחברת פלטינה. 49 הקרן גם מסרה ש־Cambricon עבדה עם קהילת vLLM על תמיכת Day‑0 במודלי קוד פתוח, בהם DeepSeek‑V4 ו־GLM‑5.
57
החשיבות היא בהתיישרות עם האקוסיסטם: תמיכה במאיץ שימושית יותר כאשר היא פועלת דרך מסגרות ושכבות הגשה ציבוריות נפוצות, במקום לחייב צוותים לתחזק מחסנית נפרדת וספציפית לספק. החברות עצמה אינה מבטיחה תמיכה upstream בכל מודל או תכונה, אך היא מחזקת את הדגש המוצהר של Cambricon על תאימות ל־PyTorch ול־vLLM.
אילו משפחות מודלים נוספות מופיעות בחומרי Cambricon?
חומרי התוכנה של החברה מציינים עבודה עם DeepSeek V3/V3.1, Qwen2.5, Qwen3, Qwen3‑Next, GLM‑4.5, Qwen3‑VL, Flux, Wan 2.1/2.2 ו־Hunyuan‑Video. 18 עם זאת, מדובר בתמהיל של תמיכת אימון ואופטימיזציית תוכנה רחבה יותר; המקור אינו מוכיח שלכל המשפחות הללו יש אותה רמת תמיכת Day‑0 או הסקה בייצור דרך vLLM כמו ל־DeepSeek‑V4.1‑Flash.
המסקנה המדויקת יותר היא של־Cambricon יש טביעת תמיכה מבוססת בכמה משפחות מודלים סיניות, אך זמינות הסקה, דיוקים נתמכים, יכולות רב־מצביות ומעמד Day‑0 צריכים להיבדק עבור כל גרסה בנפרד.
למה זמינות ביום ההשקה חשובה למפעילי אשכולות
תאימות ביום השקת מודל יכולה לקצר את הזמן שבין פרסום המודל לבין הערכה מבוקרת על תשתית קיימת. נתיב vLLM ציבורי גם מעניק לצוותים בסיס מוכר יותר לתכנון קיבולת, ניתוב בקשות, תצפיתיות, בחינת קוונטיזציה ובדיקות אינטגרציה — בהשוואה למזלג הגשה ייעודי.
ב־DeepSeek‑V4.1‑Flash הדבר רלוונטי במיוחד משום שדחיסת המטמון המדווחת מכוונת לשתי מגבלות מרכזיות בשירות הקשרים ארוכים: קיבולת HBM עבור הפעלות פעילות, ונפח אחסון או זיכרון מארח עבור שימוש חוזר במטמון. 7
8
הסיפור הרחב אינו שהכרזת Day‑0 אחת מוכיחה ביצועים אוניברסליים בייצור. הוא שהיכולת לחזור על שרשרת התמיכה — סביבת ריצה, אופרטורים, קרנלים, הרצה מבוזרת וכלי הגשה — יכולה לקרב את זמינות המאיץ למועד השקת המודל, במיוחד ככל שמודלים פתוחים הופכים גדולים יותר, דלילים יותר ורב־מצביים יותר.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Cambricon מציגה תמיכת Day‑0 ל‑DeepSeek‑V4.1‑Flash ב‑vLLM"?
Cambricon מסרה כי התאימה את DeepSeek‑V4.1‑Flash ל‑vLLM ביום השקת נקודת הבדיקה, באמצעות סביבת NeuWare, תמיכת Torch‑MLU‑Ops וקרנלי BangC מותאמים.
What are the key points to validate first?
Cambricon מסרה כי התאימה את DeepSeek‑V4.1‑Flash ל‑vLLM ביום השקת נקודת הבדיקה, באמצעות סביבת NeuWare, תמיכת Torch‑MLU‑Ops וקרנלי BangC מותאמים. זהו מודל MoE רב־מצבי עם 552 מיליארד פרמטרי backbone, עד מיליון טוקנים של הקשר, וכ־8 מיליארד פרמטרים פעילים ב‑prefill לעומת 16 מיליארד ב‑decode.
What should I do next in practice?
לפי DeepSeek, מטמון ה‑KV הגלובלי צורך 890 בתים לטוקן — כרבע מהיקפו ב‑DeepSeek‑V4‑Flash — אך אלה נתוני תכנון של המודל, ולא מדדי ביצועים עצמאיים של אשכול Cambricon.