כששיחה עם מודל AI מתארכת, או כשסוכן מבצע שוב ושוב משימות עם אותו הקשר, המערכת עשויה להפיק תועלת מחישובים שכבר ביצעה. לשם כך נועד מטמון KV: הוא שומר תוצאות ביניים מעיבוד הקלט, כך שכאשר בקשה חדשה יכולה להשתמש בקידומת שכבר חושבה, אין צורך לחשב אותה מחדש. האתגר הוא שמטמון גדול לא תמיד יכול להישאר כולו בזיכרון הסמוך לכל מאיץ AI.
1
3
6
OceanStor M900, שהוצג בכנס HUAWEI CONNECT 2026, הוא מערכת אחסון להקשר המשמש בהסקת AI במערכי SuperPoD — צבירי מחשוב של וואווי. במקום להגביל את המטמון לזיכרון שעל השבב ולזיכרון DRAM, המערכת נועדה לאפשר שיתוף שלו גם דרך כונני SSD.
1
9
3
מה פירוש 64 פטה־בייט?
רשת UnifiedBus של וואווי מחברת את שכבות הזיכרון והאחסון למאגר KV משותף. החברה טוענת שקלאסטר יחיד יכול לספק 64 פטה־בייט של קיבולת מטמון, ולהגדיל את נפח המטמון הנגיש לכל NPU — מעבד ייעודי לחישובי AI — מסדר גודל של גיגה־בייטים לטרה־בייטים. חשוב להבחין: 64 פטה־בייט הם קיבולת משותפת ברמת הקלאסטר, לא זיכרון שנמצא בתוך כל NPU. יותר מקום עשוי לאפשר שימוש חוזר ביותר הקשר, אבל התועלת בפועל תלויה בשיעור הבקשות שיש ביניהן חפיפה הניתנת לשימוש חוזר.
3
6
17
איך מגיעים מהמאיץ ל־SSD?
לפי התכנון שמתארת וואווי, ה־NPU יכול לגשת ל־SSD במסלול של ״קפיצה אחת״. שילוב פונקציות של מעבד, בקר רשת ובקר NAND נועד לחסוך חלק משלבי המרת הפרוטוקולים והעברת המידע דרך המעבד. וואווי מדווחת על השהיית גישה של כ־60 מיקרו־שניות ועל רוחב פס מצטבר של 40 טרה־בייט לשנייה לקלאסטר. אלה נתוני מערכת מוצהרים, ולא הבטחה שכל גישה למטמון תתבצע במהירות הזאת.
3
6
28
32
האם זה הופך את התשובות למהירות וזולות יותר?
כאשר בקשה יכולה להשתמש בעיבוד שכבר נשמר במטמון, היא עשויה להגיע מהר יותר לטוקן הראשון — יחידת הטקסט הראשונה שהמודל מפיק — ולפנות כוח חישוב לבקשות נוספות. וואווי טוענת שבתרחיש טיפוסי של עבודה עם קוד באמצעות AI, תפוקת הטוקנים של קלאסטר ההסקה הוכפלה, והזמן עד לטוקן הראשון קוצר בחצי. אין להסיק מכך שכל עומס עבודה ישיג שיפור דומה.
28
33
החברה מתארת גם ניהול מיקום אחסון המודע לנתוני KV, כדי לקבוע כמה זמן יישאר מידע מטמון בכל שכבה. היא מציינת עמידות SSD של עד 24 כתיבות מלאות לכונן ביום, שיפור של פי 16 באורך החיים ויעד ליציבות לאורך שלוש שנים. ההיגיון הכלכלי הוא להפחית חישוב חוזר והחלפות כוננים, וכך להוריד את העלות לטוקן. עם זאת, המקורות שסופקו אינם מאמתים באופן עצמאי את נתוני הביצועים, אורך החיים או החיסכון בפועל במערכי SuperPoD פעילים.
6
8
33