מה באמת חוזר על עצמו בדינמיקה של Transformer?

מה שחוזר על עצמו ב־Transformer הוא קודם כול כלל החישוב — לא בהכרח הדינמיקה עצמה. בשכבה מסוימת, מצבי הפעלה שונים עוברים דרך אותן מטריצות הקרנה של Query, Key ו־Value, אותה פעולת קשב, אותם משקלים של רשת ההזנה־קדימה ואותם מסלולי שארית. אבל משקלי הקשב והשינויים במצב הפנימי תלויים בהפעלה שעליה השכבה פועלת.13

ההבחנה החשובה היא בין אותה מכונה חישובית לבין אותה תגובה:

• מה כן נשאר קבוע: החיבורים והפרמטרים של שכבה נתונה. כשאומרים שלשכבות Transformer יש מבנה דומה, אין פירוש הדבר ששכבות שונות חולקות בהכרח את אותם משקלים.13
• מה לא מובטח: תגובה מקומית זהה להפרעה במצבי הפעלה שונים. ה־Query וה־Key מחושבים מתוך ההפעלות הנוכחיות, ולכן האינטראקציה ביניהם — ובהתאם גם השפעתה של אותה הפרעה — עשויה להשתנות ממצב למצב.13
• מקרה מיוחד שבו התגובה יכולה להיות זהה: במבנה Pre-LayerNorm, שבו הנרמול מתבצע לפני תתי־השכבות, הוספה של אותה קבועה לכל המאפיינים של טוקן יכולה להתבטל בנרמול ולהמשיך דרך מסלול השארית. אם מתקיימים התנאים הנדרשים בכל הענפים שעוברים דרכם, תגובת ההפרעה הפנימית נשארת זהה לאורך כיוון ההסטה הזה. זו תוצאה של המבנה והתנאים המסוימים האלה — לא כלל לכל Transformer.12

לכן, התשובה המדויקת היא ש־Transformer מפעיל שוב ושוב אותם אופרטורים קבועים על מצבי הפעלה שונים. מכך לבדו לא נובע שהוא מציג אותה דינמיקה של הפרעה בכל מצב. מקרה ה־Pre-LayerNorm מראה כיצד שוויון כזה יכול להתקבל בכיוון מסוים; בכיוונים אחרים צריך להוכיח אותו בנפרד.