איך FIRMED הופכת תווית רגשית כללית לאירוע מדויק בזמן

מערכות לזיהוי רגשות בווידאו מתמודדות עם בעיה בסיסית: בני אדם כמעט אף פעם אינם חווים סרטון שלם כמצב רגשי אחיד. בתוך קטע אחד יכולים להופיע כמה רגעי תגובה, ולצדם מקטעים ארוכים שמעוררים מעט מאוד רגש. למרות זאת, מאגרי נתונים מסורתיים נוטים להעניק לכל ההקלטה תווית אחת — כאילו כל שנייה בה מייצגת את אותו רגש. 42

FIRMED, ראשי תיבות של Fine-grained Immediate Recall-based Multimodal Emotion Dataset, מציעה גישה ממוקדת יותר: לתייג את האירוע הרגשי עצמו, ולא את הסרטון כולו. כך אפשר לחבר את הדיווח האנושי לרגע מסוים ולסנכרן אותו עם נתונים פיזיולוגיים והתנהגותיים. 5

למה תווית אחת לכל הסרטון יוצרת רעש?

במאגרי נתונים פיזיולוגיים המבוססים על סרטונים, נהוג לעיתים לסמן את כל נתוני הניסוי באותה תווית רגשית. אלא שרגשות הם דינמיים: הם עשויים להופיע לרגע, להתחזק, להשתנות או להיעלם במהלך העלילה.

כתוצאה מכך, תווית אחת עלולה לערבב באותו מקטע רגע של שיא רגשי עם ציפייה, ניטרליות או תגובה בעלת ערך רגשי שונה. עבור מודל למידת מכונה, המשמעות היא שהקלט אינו תמיד תואם ליעד שאותו הוא אמור ללמוד. 42

כך פועל מנגנון ה״היזכרות המיידית״

התהליך של FIRMED כולל שני שלבים:

1. המשתתפים צופים בסרטון הניסוי.
2. מיד לאחר מכן הסרטון מופעל שוב, והמשתתפים מציינים את הרגע שבו הם זוכרים שהחלו לחוש רגש משמעותי.

במהלך הצפייה החוזרת נרשמים חותמת הזמן של האירוע, קטגוריית הרגש ורמת העוצמה שלו. הקטגוריות המתועדות כוללות שמחה, עצב, כעס, פחד, גועל והפתעה, בשלוש דרגות עוצמה: נמוכה, בינונית וגבוהה. 9

הצפייה החוזרת המיידית נועדה לשמר את הפרטים הזמניים של החוויה, ובמקביל לצמצם עיוותי זיכרון שעלולים להיווצר כאשר מבקשים מהמשתתפים להיזכר זמן רב לאחר הצפייה. במקום לסמן כל שנייה בסרטון כ״פחד״ או כ״שמחה״, השיטה מייצרת אירוע רגשי ממוקם בזמן.

למה דווקא חלון של ארבע שניות?

כל אירוע ב-FIRMED ממורכז בחלון שאורכו ארבע שניות: שתי שניות לפני הרגע שסומן ושתי שניות אחריו. המטרה היא ללכוד את הפעילות הפיזיולוגית שסביב האירוע, בלי להכניס לתוך הדגימה יותר מדי מידע ממקטעים שאינם קשורים אליו.

זו אינה בחירה טכנית שולית. חלון קצר מדי עלול לפספס את ההצטברות ואת התגובה הפיזיולוגית המיידית. חלון ארוך מדי עלול לטשטש את החתימה של האירוע באמצעות נתונים מתקופות שבהן הרגש שסומן לא היה נוכח.

ניתוח ההשוואה בין חלונות שונים במאמר מוצג כתמיכה בפשרה הזו. חלונות ארוכים יותר יצרו הפרדה פחות ברורה בין חתימות של הפתעה וגועל, החלישו את דיכוי פעילות האלפא הקשור לפחד, והפחיתו את הייחודיות של פעילות גאמא הקשורה לשמחה. המסקנה הרחבה היא שזיהוי רגשות עשוי להפיק תועלת רבה יותר ממקטע קצר שמיושר לאירוע משמעותי, במקום מסרטון שלם. 42

האם התיוגים נבדקו מעבר לזיכרון האנושי?

החוקרים לא הסתמכו רק על דיווח עצמי. המחקר בחן גם אם שיאים רגשיים שעליהם דיווחו המשתתפים הופיעו במקביל לשינויים באותות פיזיולוגיים, ובהם EEG ומוליכות העור. אימות פיזיולוגי כזה מאפשר להשוות בין הרגע שהמשתתף זיהה לבין תגובה גופנית שנמדדה באותו זמן. 42

עם זאת, המידע שסופק אינו מספיק כדי לאמת כל נתון מספרי שהופיע בבקשה המקורית — למשל ערך קפא של כהן, אחוז דיוק בזיהוי התזמון או תוצאות מלאות של בדיקה בלתי תלויה ב-150 רשומות. לפני שמצטטים מספרים אלה כממצאים מבוססים, יש לבדוק אותם בטבלאות האימות המלאות של המאמר.

ההסתייגות חשובה: גם סימון מדויק בזמן אינו מבטל את האפשרות לזיכרון חלקי או מוטעה. התאמה פיזיולוגית מחזקת את הטיעון לטובת השיטה, אך אינה מוכיחה שכל רגע התחלה שסומן מדויק לחלוטין או שהמאגר יתאים באותה מידה לכל אדם, רגש והקשר.

מה משתנה עבור מודלי למידת המכונה?

כאשר התווית מתייחסת לסרטון שלם, המודל נאלץ ללמוד גם ממקטעים ניטרליים או מעורבבים רגשית. כאשר התווית ממורכזת סביב שיא, נוצר קשר עקבי יותר בין האותות שהמודל מקבל לבין הרגש שאותו הוא אמור לזהות.

המאמר על FIRMED בוחן את הרעיון באמצעות ניסויי זיהוי, המשווים בין תוויות אירועים מדויקות לבין תיוג מסורתי וגס יותר. הטענה המרכזית היא שהשגחה מדויקת יותר עשויה לשפר את הזיהוי, גם כאשר כל אירוע מכיל פחות נתונים מאשר סרטון מלא. 42

הנתונים שסופקו אינם מאמתים באופן מהימן את השינוי הספציפי מ-34.7% ל-38.5%, וגם לא את ההשוואה המלאה בין כל המודלים החוזרניים ומודלי הגרפים. לכן אין להתייחס למספרים האלה כאן כאל עובדה מאומתת.

הלקח המתודולוגי עדיין ברור: יכולת temporal modeling — כלומר היכולת ללמוד רצפים לאורך זמן — מועילה במיוחד כאשר תוויות האימון מצביעות על אירוע משמעותי. אם הקלט כולל פרקי זמן ארוכים שאינם קשורים לרגש היעד, מודל עמוק יותר עלול ללמוד את רעש התיוג במקום דפוס רגשי יציב.

מעבר למדדי ביצועים: איפה זה עשוי להיות שימושי?

המעבר מסיווג של סרטון שלם לזיהוי אירועים רגשיים עשוי להשפיע על כמה תחומים:

• ממשקי אדם–מחשב: מערכת תוכל להגיב לרגע שבו משתמש חווה תסכול, הפתעה, פחד או שמחה, במקום להעניק לכל האינטראקציה מצב רגשי אחד.
• מחקר בתחום בריאות הנפש: חותמות זמן עשויות לסייע להבדיל בין תגובה חולפת לבין דפוס רגשי רחב יותר, ולבחון את הקשר בין גירוי מסוים לשינויים פיזיולוגיים.
• ניטור בריאותי: חלונות מולטי-מודליים קצרים ומסונכרנים עשויים להקל על בחינת הרגע שבו שינוי גופני מתרחש ומה עשוי לעורר אותו.
• חיישנים לבישים: בעתיד, התרעות רגשיות עשויות להתבסס על חלונות קצרים המופעלים סביב אירוע, במקום להמתין לסיום פעילות או הקלטה שלמה.

אלה השלכות מחקריות אפשריות — לא הוכחה לכך ש-FIRMED כבר מספקת ניטור קליני או התרעות בזמן אמת בשעונים ובחיישנים לבישים. עדיין נותרו שאלות לגבי גודל המאגר, היכולת להכליל בין אנשים וההתאמה של חלון קבוע בן ארבע שניות לכל סוג של תגובה רגשית.

השורה התחתונה

התרומה העיקרית של FIRMED היא שינוי בהגדרה של תווית רגשית שימושית. במקום להניח שלסרטון יש ״זהות רגשית״ אחת מתחילתו ועד סופו, השיטה שואלת מתי המשתתף חווה אירוע רגשי משמעותי — ומתעדת את הרגע, הקטגוריה והעוצמה שלו.

השינוי הופך את התוויות למתאימות יותר לאופן שבו רגשות מתנהגים בזמן, ועשוי לספק למודלים מולטי-מודליים בסיס אימון נקי וממוקד יותר. הוא אינו פותר את הקשיים הכרוכים בזיכרון סובייקטיבי או בפרשנות של אותות פיזיולוגיים, אך הוא מציע דרך מדויקת יותר לחבר בין דיווח אנושי, תגובה גופנית ותחזית של מערכת בינה מלאכותית. 542