מ־WeLM ל־Xiaowei: האסטרטגיה של WeChat להפוך AI לשכבת פעולה

לא עוד צ'אטבוט, אלא שכבת פעולה בתוך WeChat

המשמעות של Xiaowei אינה רק השקה של צ'אטבוט נוסף. לפי הדיווחים, WeChat החלה לבדוק אותו בהפצה מוגבלת כעוזר AI מובנה באפליקציה: המשתמשים יכולים לפנות אליו בטקסט או בקול, לתקשר עם אנשי קשר, להשתמש בפונקציות של WeChat ולהפעיל שירותים מתוך רשת תוכניות־המיני — אפליקציות קלות שרצות בתוך WeChat. 15

במילים אחרות, המשתמש לא נדרש לעזוב את WeChat כדי להגיע ליעד AI נפרד, כפי שקורה באפליקציות עצמאיות כמו Yuanbao. הכיוון האסטרטגי המסתמן הוא AI כממשק לאנשים, לשירותים ולתוכניות שכבר נמצאים בתוך WeChat — ולא עוד "סופר־אפליקציית AI" שעומדת בפני עצמה.

מ־WeLM של 2022 ל־WeLM-80B

השורשים של משפחת WeLM מגיעים למודל סיני צפוף בעל 10 מיליארד פרמטרים, שהוצג ב־2022 ודווח כבעל ביצועים חזקים ב־18 משימות. עם זאת, את פרטי המדדים המדויקים של אותה השוואה לא ניתן לאמת באופן עצמאי מתוך המקורות שנאספו כאן. 4

השלב העדכני יותר שנחשף הוא WeLM-80B — מודל בעל 80 מיליארד פרמטרים בסך הכול, שמבוסס על גישת Mixture of Experts, או MoE. בכל טוקן מופעלים בערך 3 מיליארד פרמטרים בלבד. המודל אומן על פחות מ־14 טריליון טוקנים, ולפי המידע שפורסם הוא תומך ביכולות הסקה, הבנה רב־לשונית והקשר באורך 128K טוקנים. 711

WeLM-80B כבר תואר כמודל שהוטמע ב־Xiaowei עבור שיחה, חיפוש, הפעלת פונקציות של WeChat וקריאה לשירותים של תוכניות־מיני. 89

617 מיליארד פרמטרים — אבל לא כולם עובדים בכל פעם

השלב הבא הוא WeLM-617B. הוא כולל 617 מיליארד פרמטרים, אך מפעיל כ־23 מיליארד מהם בכל טוקן. נכון לעכשיו הוא מתואר כמודל שנמצא בפיתוח, ולא כמודל שהוטמע במלואו ב־Xiaowei. 8912

הייעוד שלו הוא משימות מורכבות יותר באקוסיסטם של WeChat: הבנה והסקה כלליות מתקדמות, פיתוח חכם של תוכניות־מיני ויצירת כלים עבור Xiaowei. 8912

מה עושה MoE?

במודל MoE יש כמה "מומחים" — רשתות משנה ייעודיות — ומנגנון ניתוב שבוחר בכל פעם רק קבוצה קטנה מהם עבור הטוקן הנוכחי. לכן ל־WeLM-80B יש מאגר קיבולת של 80 מיליארד פרמטרים, אך החישוב בכל טוקן מתבצע במסלול שקרוב יותר ל־3 מיליארד פרמטרים פעילים. אותו עיקרון חל על WeLM-617B: לא נדרשת הפעלה של כל 617 מיליארד הפרמטרים עבור כל טוקן.

עבור עוזר שאמור לטפל בכמויות עצומות של בקשות — חיפוש, הודעות, ניווט בשירותים והפעלת כלים — ההבדל משמעותי. הפחתת החישוב הפעיל עשויה לשפר את התפוקה ואת זמני התגובה ולהפחית את עלות ההגשה, תוך שמירה על מאגר רחב של מומחים ייעודיים. 78

אבל חשוב לדייק: "3 מיליארד פרמטרים פעילים" אינו אומר שמודל MoE של 80 מיליארד עולה בדיוק כמו מודל צפוף של 3 מיליארד. עדיין צריך לאחסן את משקלי המומחים, למקם אותם במערכת, לבצע ניתוב ולנהל תקשורת בין מאיצים. היתרון המרכזי הוא ירידה בכמות החישוב האריתמטי לכל טוקן — לא שירות חינמי.

Hidden Decoding: יותר חישוב פנימי בלי Transformer גדול יותר

Hidden Decoding מציעה דרך אחרת להגדיל את יכולת המודל. במקום להוסיף שכבות ל־Transformer או להרחיב את רוחבו, היא מרחיבה כל טוקן למספר זרמי חישוב פנימיים, שלכל אחד מהם טבלאות הטמעה נפרדות. המודל שומר את מצבי ה־KV של הזרמים הביניים כחלק מההקשר, ולכן כל טוקן יכול לעבור יותר חישוב לטנטי לפני שנוצר הפלט החיצוני — בלי להגדיל את ליבת ה־Transformer עצמה. 213

בניסויים מותאמים, צוות WeLM דיווח כי גרסאות HD4 של WeLM-80B ושל WeLM-617B השיגו תוצאות טובות יותר מגרסאות הבסיס המקבילות ללא Hidden Decoding. 16

המשמעות האפשרית עבור עוזר כמו Xiaowei היא לא בהכרח תשובות ארוכות יותר, אלא יותר "עבודה מאחורי הקלעים" לכל טוקן: תכנון, בחירת כלי, פירוק משימה והכנת רצף פעולות — בלי שהמשתמש יצטרך לראות את כל תהליך ההסקה.

למה Stream-Factorized Attention הוא החלק ההנדסי הקריטי?

אם פשוט משכפלים כל טוקן ל־(n) זרמים ומאפשרים לכל הזרמים להשתתף בקשב מלא זה מול זה, עלות הקשב בין הזרמים עלולה לגדול בקירוב בצורה ריבועית ב־(n). זה עלול להפוך את Hidden Decoding ליקר מדי דווקא במודלים גדולים.

Stream-Factorized Attention מתמודדת עם הבעיה באמצעות חלוקת העבודה: ברוב השכבות הקשב נשאר בתוך כל זרם, ורק במספר מצומצם של שכבות מתאפשר ערבוב בין הזרמים. כך העלות הנוספת מתקרבת יותר לגידול ליניארי מאשר לריבועי. לפי Tencent, זהו הרכיב שמאפשר לאמן ולהגיש את Hidden Decoding גם בקנה מידה של מודלי MoE עם יותר מ־100 מיליארד פרמטרים. 5

מה זה אומר עבור העתיד של WeChat?

השילוב בין MoE דלילה לבין Hidden Decoding מצביע על אפשרות למודל הפעלה מדורג:

• בקשות שגרתיות ונפוצות יטופלו באמצעות מסלול יעיל בסגנון WeLM-80B-A3B.
• משימות מורכבות יותר — תכנון רב־שלבי, בחירת כלים, יצירת קוד או בניית תוכניות־מיני — יוכלו להיעזר במודל גדול יותר או בכמות גדולה יותר של חישוב פנימי.

אם הרשאות, זהות משתמש, תשלומים, ממשקי תוכניות־המיני, בקרות אמינות והסכמה מפורשת יתוכננו כראוי, Xiaowei עשויה להפוך כוונה בשפה טבעית לרצף פעולות בתוך המשטח הקיים של WeChat: למצוא, להחליט, להפעיל ולהשלים.

זהו הבדל מהותי בין עוזר שמספק תשובות לבין שכבת הפעלה לאקוסיסטם שלם. עם זאת, מדובר במסקנה אסטרטגית המבוססת על כיוון הטכנולוגיה והפיצ'רים שדווחו — לא במפת דרכים רשמית שאושרה במלואה.