סמסונג מכניסה עיבוד AI לתוך זיכרון LPDDR5X: עד 614 גיגה־בייט לשנייה

סמסונג ניצלה את כנס Hot Chips 2026 כדי לפרט כיצד LPDDR5X-PIM מוסיף יכולות עיבוד ישירות לזיכרון DRAM חסכוני בחשמל. במקום להעביר שוב ושוב את משקלי המודל ואת נתוני הביניים בין הזיכרון למעבד, חלק מהחישובים מתבצעים בתוך הזיכרון, סמוך לבנקי ה-DRAM.

במבחן של מערכת SoC המיועדת ל-AI בקצה, שהריצה את Llama 3.1 8B, סמסונג דיווחה על קיצור של פי 2.28 בזמן ההסקה ועלייה של פי 3.01 בקצב הפקת הטוקנים. עם זאת, חשוב להדגיש שמדובר בתוצאות שדיווחה החברה עצמה, ולא בהערכה עצמאית ורחבה של ביצועים במגוון מערכות. 1 9

מה מנסה LPDDR5X-PIM לפתור?

בהסקה של מודלי שפה גדולים, חלק ניכר מהזמן עלול להתבזבז על העברת משקלים ונתוני ביניים בין ה-DRAM לבין המעבד או המאיץ. טכנולוגיית Processing-in-Memory, או PIM, מנסה לצמצם את צוואר הבקבוק הזה באמצעות ביצוע פעולות נבחרות לצד מערכי הזיכרון, במקום להעביר כל אופרנד דרך ממשק הזיכרון החיצוני.

סמסונג מתארת את LPDDR5X-PIM כפתרון ה-PIM הראשון שלה המבוסס על LPDDR עבור הסקת AI. הוא מתאים במיוחד לעומסים שבהם חוזרות שוב ושוב פעולות מטריצה־וקטור, כגון GEMV, ושבהם צמצום תנועת הנתונים עשוי להיות חשוב לא פחות מהוספת כוח חישוב קונבנציונלי. 2 9 13

המבנה: 16 בלוקי עיבוד בתוך מארז בעל ארבעה שבבים

התצורה שעליה הכריזה סמסונג היא מארז LPDDR5X בנפח 16 גיגה־בייט, המבוסס על ארבעה שבבי זיכרון במארז JEDEC בעל 561 כדורים. הוא פועל בקצב של 9,600 מגה־ביט לשנייה בכל פין. ארבעת השבבים חולקים אותות פקודה וכתובת, אך משתמשים בקווי נתונים נפרדים — מבנה המקביל לארגון המקבילי של מערכות LPDDR. 9 17

בתוך המארז מפוזרים 16 בלוקי PIM לאורך בנקי ה-DRAM. כל בלוק משלב שני סוגי חומרה:

• עצי MAC — יחידות לחישובי כפל־חיבור מצטבר, שהם מרכיב מרכזי ב-GEMV ובפעולות מטריצה אחרות.
• יחידות ALU למספרים בנקודה צפה ולמספרים שלמים — לחישובים איבריים ולפעולות עזר נוספות.

הארכיטקטורה ההטרוגנית הזו מאפשרת לזיכרון להתמודד עם יותר מחישוב בסיסי על סוג נתונים יחיד. חומרים קודמים של סמסונג על PIM תיארו גם יחידת SIMD לנקודה צפה ומיקום של יחידות העיבוד ברמת הבנק, כחלק מהגישה של קירוב החישוב לנתונים. 9 11

614 גיגה־בייט לשנייה — אבל לא דרך ממשק הזיכרון החיצוני

המספר הבולט ביותר בהצגה היה רוחב פס פנימי מצטבר של עד 614 גיגה־בייט לשנייה. אין פירוש הדבר שמעבד מארח מקבל חיבור LPDDR5X חיצוני במהירות של 614 גיגה־בייט לשנייה. מדובר ברוחב הפס שנוצר כאשר בנקים רבים ובלוקי PIM פועלים במקביל בתוך הזיכרון. 1

בהשוואה של סמסונג, הנתון הפנימי גבוה בערך פי שמונה מרוחב הפס של LPDDR5X רגיל ששימש כבסיס. ההבדל החשוב הוא ש-PIM מספק רוחב פס פנימי עבור פעולות נתמכות; הוא אינו הופך את ערוץ ה-LPDDR החיצוני לקישור במהירות של 614 גיגה־בייט לשנייה.

Address Align Mode: לגרום לבנקים לעבוד יחד

מרכיב מרכזי בתכנון הוא Address Align Mode. במצב זה, אופרנדים תואמים ממוקמים בכתובות מקבילות בבנקים המשתתפים. כך פקודת PIM משותפת יכולה להפעיל את אותה פעולה במקביל בכמה בנקים.

הדבר מתאפשר משום ששבבי ה-DRAM באותו דירוג LPDDR מקבלים אותות פקודה וכתובת משותפים ופועלים בסנכרון, אך ממשיכים להשתמש במסלולי נתונים נפרדים. לכן ניתן לנצל מקביליות פנימית בלי להתייחס למארז כולו כאל ערוץ חיצוני רחב במיוחד. 17

סמסונג תיארה שני מצבי פעולה:

• פעולה בבנק יחיד — מאפשרת שליטה עדינה יותר ומשאירה לבנקים אחרים הזדמנות להמשיך לטפל בתעבורת DRAM רגילה.
• פעולה בריבוי בנקים — מפעילה יותר בלוקי PIM במקביל ומגדילה את המקביליות ואת רוחב הפס הפנימי עבור גרעיני חישוב מתאימים.

זהו איזון שתלוי בעומס העבודה. הפעלה של בנקים רבים יותר עשויה לשפר את התפוקה, אך באותו זמן מצמצמת את מספר הבנקים הזמינים לגישה רגילה לזיכרון. לכן PIM אינו מאיץ שקוף לחלוטין: התוכנה, פריסת הטנסורים והגרעינים החישוביים צריכים להיות מותאמים למבנה הבנקים של הזיכרון.

התוצאות עם Llama 3.1 8B

במערכת SoC מסוג Edge AI שהריצה את Llama 3.1 8B, סמסונג דיווחה על התוצאות הבאות בהשוואה ל-LPDDR5X רגיל:

• זמן הסקה קצר פי 2.28.
• קצב טוקנים גבוה פי 3.01.
• עד 614 גיגה־בייט לשנייה של רוחב פס PIM פנימי, לעומת בסיס קונבנציונלי של כ-76.8 גיגה־בייט לשנייה בהצגת הנתונים.

אין לקרוא לנתונים האלה כמכפיל ביצועים אוניברסלי. התוצאה בפועל תלויה, בין היתר, בדיוק המספרי של המודל, במיקום הטנסורים, בגודל האצווה, בקיבולת הזיכרון ובחלק היחסי של העבודה שמורכב מפעולות דמויות GEMV.

סמסונג הציגה גם צריכת חשמל נמוכה יותר כיתרון ארכיטקטוני של צמצום העברת הנתונים בין הזיכרון ל-SoC. עם זאת, החומרים הזמינים אינם מספקים נתון עצמאי ובר־השוואה של וואטים לכל הסקה או ג'אולים לכל טוקן. לכן החיסכון בחשמל צריך להיחשב יעד תכנוני ויתרון צפוי בעומסים מתאימים — לא אחוז מדוד שפורסם. 9

LPDDR5X-PIM לעומת HBM

HBM עדיין מתאים יותר כאשר מאיץ זקוק לרוחב פס חיצוני מרבי, במיוחד באימון מודלים ובעומסי עבודה גדולים במרכזי נתונים. הביצועים שלו נשענים על DRAM מוערם, חיבורי TSV, אריזה מתקדמת ודרישות משמעותיות לשטח ולחום. בכנס Hot Chips, מיקרון אמרה שהפער בשטח פרוסת הסיליקון בין HBM ל-DDR5 הולך ומתרחב, ובתצורה שהשוותה נדרש בערך פי שלושה שטח פרוסה עבור HBM באותה קיבולת.

סמסונג בוחרת כאן בפשרה אחרת: לשמור על תצורת זיכרון LPDDR5X חסכונית בחשמל ולהוסיף חישוב מוגבל סמוך לבנקים. הפתרון אינו מספק את רוחב הפס הכללי של HBM למאיצים, אך עשוי להתאים כאשר הבעיה העיקרית היא העברת נתונים בזמן הסקה — ולא מחסור בתפוקת חישובי נקודה צפה.

לכן קהל היעד של הטכנולוגיה מובחן למדי:

• מכשירים ניידים ומחשבים אישיים — הסקת AI מקומית תחת מגבלות סוללה וחום.
• מערכות Edge — עיבוד מקומי בלי מאיץ נפרד המבוסס על HBM.
• שרתים — הסקה ועיבוד נתונים שבהם צוואר הבקבוק הוא תנועת הזיכרון, ולא בהכרח מספר פעולות החישוב המרבי.

הניסוח המדויק יותר הוא ש-LPDDR5X-PIM עשוי להשלים את HBM או להציע חלופה רגישה יותר לעלות בעומסי הסקה מסוימים — לא להחליף אותו בכל תרחיש.

מה הקשר ל-FMS 2026, ל-XCENA ול-DeepX?

סמסונג כבר הדגימה את LPDDR5X-PIM בכנס FMS 2026. ההצגה ב-Hot Chips הוסיפה פירוט ארכיטקטוני ודיון מפורט יותר בביצועים; תוכנית הכנס כללה את ההרצאה של סמסונג במסגרת מושב זיכרון ייעודי בנושא PIM מבוסס LPDDR להסקת AI. 9 13

באותו מושב הוצג גם XCENA MX1, אך מדובר בטכנולוגיה אחרת הפועלת ברמת המערכת. MX1 הוא התקן זיכרון חישובי מסוג CXL Type 3 המיועד לתשתיות בקנה מידה של ארונות שרתים. הוא משלב עד 2 טרה־בייט של DDR5, קיבולת הנשענת על SSD ויותר מ-1,000 ליבות RISC-V לעיבוד סמוך לזיכרון. 4 10

שתי הגישות מנסות לצמצם את תנועת הנתונים בין המעבד לזיכרון, אך MX1 הוא התקן שרת חיצוני המחובר באמצעות CXL, בעוד LPDDR5X-PIM משלב יחידות חישוב ייעודיות ישירות בתוך זיכרון LPDDR חסכוני בחשמל.

גם DeepX הקוריאנית הודיעה כי בכוונתה להשתמש ב-LPDDR5X-PIM של סמסונג בשבב ה-AI מהדור השני שלה, DX-M2, ולכוון ל-LPDDR6-PIM עבור הדור הבא, DX-M3. 15

הכיוון ארוך הטווח של סמסונג קשור גם לניסיון לקדם מפרט LPDDR6-PIM המבוסס על תקינה. עם זאת, הראיות הזמינות מצביעות על כיוון ותוכנית, ולא על מפרט JEDEC סופי או תאריך אשרור רשמי. 15

השורה התחתונה

החשיפה של סמסונג ב-Hot Chips 2026 מציגה את LPDDR5X-PIM כתשובה ממוקדת לצוואר הבקבוק של הזיכרון בהסקת AI. 16 בלוקי העיבוד, עצי ה-MAC, יחידות ה-ALU והמקביליות ברמת הבנק מאפשרים לבצע פעולות נבחרות קרוב לנתונים, תוך שמירה על מארז LPDDR5X בנפח 16 גיגה־בייט וקצב פעולה של 9,600 מגה־ביט לשנייה בכל פין. 9

התוצאות עם Llama 3.1 8B נראות מבטיחות, אך הן עדיין תוצאות של תצורת בדיקה ספציפית מטעם סמסונג. המשמעות האסטרטגית רחבה יותר: החברה מנסה להרחיב את רעיון ה-PIM מניסויים מיוחדים בזיכרון HBM אל זיכרון חסכוני בחשמל, שיוכל להשתלב במכשירים ניידים, במחשבים, במערכות Edge ובחלק מעומסי השרתים — בעוד HBM ימשיך לשרת משימות שזקוקות לרוחב הפס הכללי הגבוה ביותר.