סמסונג מציעה עם zHBM לצמצם כמעט לאפס את המרחק הפיזי בין יחידת החישוב של בינה מלאכותית לבין הזיכרון המהיר שלה. במקום למקם זיכרון בעל רוחב פס גבוה (HBM) לצד GPU או מאיץ אחר, הרעיון הוא להניח אותו ישירות מעל המעבד באריזה תלת־ממדית משולבת. ב-AI Infrastructure Summit שנערך ב-16 בספטמבר בסנטה קלרה, סמסונג הציגה זאת כנתיב למערכות AI סוכניות — מערכות שמבצעות רצפים של איסוף הקשר, הסקה, שימוש בכלים ויצירת תשובה — עם זמני תגובה מהירים יותר.
1
9
מה ההבדל מאריזות HBM הקיימות?
באריזות HBM מקובלות, הזיכרון והמאיץ נמצאים בדרך כלל זה לצד זה באותו מישור ומחוברים באמצעות טכנולוגיות אריזה מתקדמות. zHBM משנה את הסידור: שכבות ה-HBM מונחות אנכית מעל מאיץ ה-AI. במילים פשוטות, הלוגיקה והזיכרון עוברים מ"שכנים" למבנה של שכבות זו מעל זו.
12
13
היתרון המבוקש ברור: ככל שהמידע עובר מרחק קצר יותר, אפשר לשפר את רוחב הפס ואת יעילות האנרגיה — ובאותו שטח פיזי לשלב יותר קיבולת זיכרון. סמסונג אומרת שהארכיטקטורה נשענת על טכנולוגיות הדבקת פרוסות מהדור הבא, ובהן Hybrid Copper Bonding — חיבור מדויק באמצעות נחושת.
7
48
חשוב להדגיש: זהו עדיין דגם קונספט, ולא תחליף מיידי לכל מארזי ה-HBM הקיימים. סמסונג לא פרסמה לוח זמנים למסחור zHBM.
13
14
יעדי הביצועים שסמסונג מציבה
סמסונג הציגה יעדים שאפתניים לממשק עתידי שישלב zHBM:
- ביצועים של כ־פי 8 לעומת HBM5
- צפיפות זיכרון גבוהה ביותר מ־פי 10 מזו של HBM5 קונבנציונלי
- יעילות אנרגטית של כ־פי 3
- התנגדות תרמית נמוכה ביותר מ־50%
13
48
בכנס בסנטה קלרה אמרה החברה גם כי zHBM עשוי להגדיל את מהירות התגובה של מערכת AI ביותר מפי עשרה, במסגרת שאיפה להגיע ל־1,000 טוקנים בשנייה. טוקנים הם יחידות הטקסט שהמודל מעבד ומפיק.
1
9
אלה תחזיות ויעדים של סמסונג לארכיטקטורה עתידית, לא תוצאות של מבחן עצמאי על מאיץ מסחרי. אתגרי הייצור משמעותיים: יש להגיע לתפוקה גבוהה בפס הייצור, לפזר את החום שנוצר במבנה הצפוף, להבטיח אמינות, ולבצע התאמה מול יצרני המאיצים.
למה זה עשוי להיות חשוב במיוחד ל-AI סוכני?
מערכות AI סוכניות לא מסתפקות בהפקת תשובה אחת. הן ניגשות שוב ושוב להקשר, מריצות הסקה, קוראות לכלים ומחזירות תוצאות. במצב כזה, תוספת כוח חישוב לבדה אינה פותרת עיכובים אם המאיץ ממתין לנתונים שיגיעו מהזיכרון.
zHBM נועד לטפל בצוואר הבקבוק של העברת נתונים וזיכרון. ההנחה היא שקירוב ה-HBM למאיץ יכול לשפר את תגובתיות המערכת ואת יעילות החשמל של תנועת הנתונים.
1
7 עם זאת, השאלה אם יתקבלו בפועל שיפורי תגובה מקצה לקצה בהיקף שעליו מדברת סמסונג תלויה במכלול: המאיץ, התוכנה, המודל, מערכת הקירור ותכנון האריזה — ולא במיקום הזיכרון בלבד.
zNAND-O: שכבת קיבולת משלימה
לצד zHBM הציגה סמסונג את zNAND-O, ארכיטקטורת NAND עתירת ביצועים המיועדת לסביבות עתירות נתונים ול-AI בקצה הרשת. היא ממוקמת בין DRAM לבין אחסון NAND רגיל: המטרה היא להציע צפיפות גבוהה יותר מ-DRAM, לצד ביצועי קלט/פלט, זמן השהיה ויעילות חשמל טובים יותר לעומת NAND קונבנציונלי.
49
51
שני הפתרונות מיועדים לשכבות שונות בהיררכיית הזיכרון:
- zHBM מיועד לשכבה המהירה ביותר, הצמודה למאיץ.
- zNAND-O מיועד להוסיף שכבה צפופה יותר עבור נתונים ומודלים, שיקר מאוד להחזיק את כולם ב-DRAM.
49
53
סמסונג ציטטה מבחן עם מודל GPT בעל 120 מיליארד פרמטרים, שבו zNAND-O השיג אותו קצב טוקנים לשנייה כמו שרת DRAM רגיל — בעלות תפעולית של שישית. זהו נתון שדווח בידי סמסונג ממבחן מסוים, ולא הבטחת חיסכון כללית לכל פריסת מודל גדול.
54
55
החברה קושרת את zNAND-O גם לאתגר ארוך הטווח של הפעלת מודלים גדולים מאוד על המכשיר עצמו, ומעריכה שמודלי AI מקומיים בהיקף של טריליון פרמטרים עשויים להיות רלוונטיים עד 2030.
53
מדוע CXL כנראה לא יחליף HBM בהרצה פעילה
בכנס עלתה הבחנה חשובה: הגדלת הקיבולת שימושית, אך לא כל סוג זיכרון הוא בר־החלפה.
דניאל מוריס, חוקר מאיצים ב-OpenAI, אמר שלא מצא שימוש ב-CXL לצורך הרצה ממשית של מודלי AI, אף שהוא עשוי להיות שימושי לנתונים שנעשה בהם שימוש נדיר במודלים גדולים. וידיה תיאגראג'אן מאינטל תיארה איגום זיכרון באמצעות CXL כתוספת לאחסון משני, ולא כתחליף ל-HBM, בגלל פער רוחב הפס בין זיכרון המחובר ב-CXL לבין HBM.
18
22
אין פירוש הדבר של-CXL אין תפקיד. המשמעות הסבירה יותר היא ארכיטקטורה מדורגת: HBM קרוב למאיץ עבור חישוב פעיל ורגיש לרוחב פס; CXL ושכבות זיכרון או אחסון אחרות עבור קיבולת ונתונים שאינם "חמים".
המשמעות עבור סמסונג ו-SK hynix
בטווח הקרוב, התחרות ב-HBM מוכרעת לא רק לפי חזון טכנולוגי אלא לפי היכולת לייצר, לאמת מול לקוחות ולספק זיכרון לפלטפורמות מאיצים מסוימות בכמויות גדולות. zHBM מעניק לסמסונג כיוון ארכיטקטוני מובחן לטווח הארוך, אך אינו פוטר אותה מהצורך להוכיח תפוקות ייצור, התנהגות תרמית, אמינות ואינטגרציה אצל הלקוחות.
הספקנות כלפי CXL כתחליף ל-HBM בהרצה פעילה מחזקת את חשיבותו של זיכרון בעל רוחב פס גבוה הצמוד למאיץ. לכן, השאלה התחרותית אינה רק מי מציגה את קונספט הזיכרון התלת־ממדי הנועז ביותר, אלא מי תצליח ראשונה להפוך תכנון זיכרון ואריזה מתקדמת למוצר מאומת שניתן לספק בהיקף.
18
33
36
השורה התחתונה
המסר של סמסונג הוא שביצועי AI מוגבלים יותר ויותר לא רק בכוח החישוב, אלא גם בהעברת נתונים, קיבולת זיכרון, צריכת חשמל וחום. zHBM מציע מבנה תלת־ממדי שבו הזיכרון יושב ישירות מעל המאיץ, בעוד zNAND-O אמור להוסיף שכבה צפופה יותר לעומסי AI גדולים.
הפוטנציאל שמציגה סמסונג גדול, אבל נכון לעכשיו מדובר ביעדים של טכנולוגיה בשלב הקונספט. עבור מתכנני תשתיות AI, המסקנה המיידית אינה השקה קרובה של מוצר zHBM, אלא כיוון השוק: מערכות AI צפויות להישען על שכבות זיכרון ייעודיות ומשולבות יותר ויותר, כאשר HBM נשאר רכיב מרכזי בנתיב החישוב עתיר הביצועים.
13
14
18