AnswersPublished13 sources
הבטחת ה-56× של Supermicro, IBM ו-NVIDIA: מה באמת אמור להאיץ את ה-AI?
הפתרון המשותף נועד לשמור הקשר שכבר עובד באחסון משותף, מחוץ לזיכרון המקומי של המעבדים הגרפיים, כדי לאפשר שימוש חוזר בו.[5][13] המערכת משלבת שרתי all flash של Supermicro עם מעבדי AMD EPYC 9005, תוכנת IBM Storage Scale, תוכנת ההסקה NVIDIA Dynamo ורשת Spectrum X Ethernet.[6] החברות דיווחו על שיפור של עד פי 56 בזמן עד הט...
פורסם על ידינערך באמצעות GPT-6 Lunaהתמונות נוצרו באמצעות GPT Image 2
Research answer
Key takeaways
- הפתרון המשותף נועד לשמור הקשר שכבר עובד באחסון משותף, מחוץ לזיכרון המקומי של המעבדים הגרפיים, כדי לאפשר שימוש חוזר בו.[5][13]
- המערכת משלבת שרתי all flash של Supermicro עם מעבדי AMD EPYC 9005, תוכנת IBM Storage Scale, תוכנת ההסקה NVIDIA Dynamo ורשת Spectrum X Ethernet.[6]
- החברות דיווחו על שיפור של עד פי 56 בזמן עד הטוקן הראשון בפרומפט של 130,000 טוקנים; הנתון אינו מעיד שהתשובה המלאה נוצרת פי 56 מהר יותר.[5][13]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Supermicro, IBM and NVIDIA announce on November 5, 2026, about a shared-flash AI key-value (KV) cache stored outside GPU memory; ho. Article summary: On November 5, 2026, Supermicro announced a joint KV-cache storage solution with IBM and NVIDIA that keeps reusable, previously computed AI context in shared storage beyond GPU memory.[5][7] The advertised up-to-56× gain. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Supermicro, IBM ו-NVIDIA הכריזו ב-5 בנובמבר 2026 על פתרון אחסון משותף למטמון מפתח-ערך (KV cache), שנועד לאפשר למערכות AI להשתמש שוב בהקשר שכבר עיבדו במקום לחשב אותו מחדש. בבדיקה משותפת דיווחו החברות על שיפור של עד פי 56 בזמן עד להופעת הטוקן הראשון, בפרומפט ארוך של 130,000 טוקנים.5
13
המספר נשמע דרמטי, אבל חשוב להבין מה הוא מודד: לא את מהירות יצירת התשובה כולה, אלא את זמן ההמתנה עד שהמערכת מתחילה להשיב.
מהו מטמון KV, ולמה לשמור אותו באחסון?
במהלך עיבוד טקסט, מודל AI יוצר מצבי ביניים שמתארים את ההקשר שכבר עבר עיבוד. מטמון KV שומר את המידע הזה לשימוש חוזר, כך שאין צורך לחשב מחדש חלקים שכבר עובדו בכל בקשה. הפתרון שהוכרז נועד לשמור את המטמון באחסון משותף, מעבר לזיכרון המקומי של המעבדים הגרפיים (GPU).5
13
הרעיון עשוי להיות שימושי במיוחד כשבקשות חוזרות על הוראות, מסמכים או היסטוריית שיחה. לעומת זאת, הקשר חדש או כזה שאינו תואם למידע השמור עדיין דורש עיבוד. לכן עצם קיומו של מטמון אינו מבטיח שיפור גדול בכל משימה.
ארבעה רכיבים, מטרה אחת
המערכת משלבת שרתי אחסון Petascale של Supermicro, המצוידים בכונני all-flash ובמעבדי AMD EPYC 9005 Series, את תוכנת האחסון IBM Storage Scale, את תוכנת ההסקה NVIDIA Dynamo ואת רשת Spectrum-X Ethernet של NVIDIA.6
לפי תיאור הפתרון, האחסון המשותף אמור להרחיב את המקום שבו אפשר לשמור הקשר לשימוש חוזר מעבר לזיכרון ה-GPU המקומי. עם זאת, פרטי ההכרזה הזמינים אינם מפרטים במלואם איך בדיוק מתבצעים העברת המטמון ותיאום השימוש בו בין שרתים שונים.
מה אומרת טענת פי 56 — ומה לא?
זמן עד הטוקן הראשון (TTFT) הוא משך ההמתנה מהרגע שהמערכת מקבלת בקשה ועד שהיא מפיקה את החלק הראשון של התשובה. לפי הדיווחים, החברות בדקו מודל עם 120 מיליארד פרמטרים ופרומפט בן 130,000 טוקנים, ודיווחו על שיפור של עד פי 56 במדד הזה.5
13
המשמעות האפשרית היא שהמשתמש או השירות מקבלים סימן מוקדם יותר לכך שהמערכת התחילה לענות. אבל המדד לבדו לא אומר כמה מהר יופקו הטוקנים הבאים, כמה זמן יידרש להשלמת תשובה ארוכה, או איזה שיפור יתקבל עם מודל, פרומפט או תשתית אחרים.
המבחן האמיתי: כמה פעמים אפשר למחזר הקשר?
היתרון תלוי בשאלה אם בקשות חדשות יכולות לנצל מידע שכבר נשמר. כשיש הרבה הקשר חוזר, מטמון זמין עשוי לחסוך חישוב; כשהבקשות שונות זו מזו, או שההקשר אינו שמיש מחדש, התועלת עשויה להיות קטנה יותר. גם ביצועי האחסון והרשת משפיעים על התוצאה בפועל.
לכן, עבור ארגונים שבוחנים את הפתרון, השאלה אינה רק אם יש מטמון KV — אלא באיזו תדירות עומסי העבודה שלהם מאפשרים להשתמש בו שוב, והאם השיפור מורגש במדד שחשוב להם. נתון של עד פי 56 הוא תוצאה מדווחת של בדיקה מסוימת, לא הבטחה לתוצאה זהה בכל פריסה.5
13
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "הבטחת ה-56× של Supermicro, IBM ו-NVIDIA: מה באמת אמור להאיץ את ה-AI?"?
הפתרון המשותף נועד לשמור הקשר שכבר עובד באחסון משותף, מחוץ לזיכרון המקומי של המעבדים הגרפיים, כדי לאפשר שימוש חוזר בו.[5][13]
What are the key points to validate first?
הפתרון המשותף נועד לשמור הקשר שכבר עובד באחסון משותף, מחוץ לזיכרון המקומי של המעבדים הגרפיים, כדי לאפשר שימוש חוזר בו.[5][13] המערכת משלבת שרתי all flash של Supermicro עם מעבדי AMD EPYC 9005, תוכנת IBM Storage Scale, תוכנת ההסקה NVIDIA Dynamo ורשת Spectrum X Ethernet.[6]
What should I do next in practice?
החברות דיווחו על שיפור של עד פי 56 בזמן עד הטוקן הראשון בפרומפט של 130,000 טוקנים; הנתון אינו מעיד שהתשובה המלאה נוצרת פי 56 מהר יותר.[5][13]