MemTensor פרסמה את משפחת MemT 1.0, הכוללת את Flash ואת Nano — מודלים שנועדו לשמור מידע שימושי בזיכרון פנימי מתמשך, במקום לעבד בכל פעם מחדש היסטוריית שיחה שהולכת ומתארכת. דיווחים שפורסמו ב-22 באוקטובר תיארכו את ההשקה לערב 21 באוקטובר.
8 נתוני היעילות המרכזיים מבוססים על בדיקות שדיווחה החברה, ולכן כדאי לראות בהם תוצאות בתנאי מבחן מסוימים — לא הבטחה לביצועים דומים בכל מערכת או שימוש.
8
13
שני מודלים, גדלים שונים
ל-Flash ול-Nano יש לא רק מספר כולל שונה של פרמטרים, אלא גם הבדלים במספר הפרמטרים הפעילים ובמשאבים הייעודיים לזיכרון. אלה מדדים נפרדים, ואין לבלבל ביניהם לבין גודל מצב הזיכרון הדינמי.
4
5
| מודל |
פרמטרים בסך הכול |
פרמטרים פעילים |
פרמטרים ניתנים לאימון בזיכרון |
מצב זיכרון דינמי |
| MemT-1.0-Flash |
288B |
17B |
3.61B |
336M |
| MemT-1.0-Nano |
36B |
3B |
451M |
10M |
משקולות המודלים זמינות ב-Hugging Face. מאגר GitHub הרשמי כולל חומרי מימוש וקישורים לדוח הטכני, MemT-1.0: Towards Memory-Native Evolution.
4
5
20
21
במקום להזין שוב את כל השיחה
בגישה המסורתית של הקשר מלא, המודל מקבל את היסטוריית השיחה כחלק מההקשר שעליו הוא עובד. MemT משתמשת במודול זיכרון שניתן לאימון: אחרי אינטראקציות, המודל מעדכן מצב פנימי בגודל קבוע, ובהמשך נעזר בו כדי לשלוף מידע. הרעיון הוא שלא יהיה צורך לצרף שוב ושוב תמליל שהולך ומתארך.
7
25
לפי MemTensor, המודלים אומנו על 34 מיליארד טוקנים בשני שלבים: אימון מקדים מתמשך ולאחריו אימון המשך. החברה מתארת את מטרת התהליך כלימוד של כתיבת מידע לזיכרון ומתן תשובות על סמך המידע שנשמר בו.
8
31
מה הראו הבדיקות שדווחו?
במבחני היסטוריה ארוכה שדיווחה החברה, Nano השיג מהירות הסקה מקצה לקצה גבוהה בערך פי 1.86 מהשוואת הקשר מלא בהיסטוריה של 128K טוקנים, ופי 3.99 בהיסטוריה של 256K טוקנים.
8
9 אלה תוצאות של הערכות מסוימות; הביצועים בפועל עשויים להשתנות לפי סוג העומס ותנאי ההרצה.
13
הדיווחים השוו גם את הזמן עד לטוקן הראשון ואת נפח האחסון לכל שיחה. בהיסטוריה של 256K טוקנים, הזמן המדווח עד לטוקן הראשון היה כ-104–112 מילישניות ב-MemT, לעומת כ-445 מילישניות בהשוואת הקשר מלא. מצב הזיכרון המתמשך דווח בנפח של כ-40 MiB לשיחה, לעומת כ-5.06 GiB למטמון KV של הקשר מלא — בערך פי 130 פחות אחסון בהשוואה הזאת.
13
22
25
ב-11 מבחני זיכרון קיבלו Flash ציון ממוצע של 50.6 ו-Nano ציון של 47.0. לפי הדיווח, הם דורגו במקום הראשון והשני בין שיטות הזיכרון הפרמטריות שנבדקו, בלי שההיסטוריה המקורית נמסרה למודלים בזמן השאילתה.
9
14 הדוח מתאר את MemT גם כתחרותית מול גישות שמשלבות שליפה, אך אין פירוש הדבר שהיא משתווה לכל מערכת שליפה או לכל משימה.
9
באשר ליכולות כלליות, בדיווח על ההערכה נמסר כי Flash נשארה דומה באופן רחב לגרסת הבסיס שלה במבחנים עתירי מידע מסיח, ובכמה מבחני ביצועים נרשמו שיפורים.
7
25
לפני שימוש: לבדוק את הרישיונות
למשקולות המודלים ולתוכנה הנלווית יש תנאים נפרדים. דפי המודלים ב-Hugging Face מציינים רישיון MIT למשקולות Flash ו-Apache 2.0 למשקולות Nano.
20
21 חומרי תוכנת ההרצה מציינים PolyForm Noncommercial 1.0.0; לפני שימוש מסחרי כדאי לבדוק את הרישיון הרלוונטי במאגר ואת התנאים של רכיבי צד שלישי.
18
20
21
30
ההצעה המרכזית של MemT 1.0 היא שמודל יוכל לשאת איתו מידע משיחות קודמות באמצעות מצב פנימי מוגבל בגודלו, וכך אולי לצמצם עיבוד חוזר ואחסון לכל שיחה כשההיסטוריה ארוכה. המדידות שפורסמו מצביעות על פוטנציאל, אך הן תוצאות שדווחו על ידי החברה — לא התחייבות לביצועים זהים בכל פריסה.