Як FIRMED перетворює загальні емоційні оцінки відео на точні події

У розпізнаванні емоцій за відео є фундаментальна проблема: людина майже ніколи не переживає весь ролик як один безперервний емоційний стан. У відео можуть бути кілька реакцій, довгі нейтральні паузи або моменти з різною емоційною забарвленістю. Проте традиційні набори даних часто призначають один ярлик усім фізіологічним сигналам, записаним протягом перегляду. Так виникає часовий шум у розмітці. 42

FIRMED — Fine-grained Immediate Recall-based Multimodal Emotion Dataset, або мультимодальний набір даних емоцій на основі детального негайного пригадування, — пропонує локальніший підхід. Тут розмітка стосується не всього експериментального відео, а конкретної події: моменту, коли учасник уперше відчув виразну емоцію. 5

Чому ярлик для всього відео спотворює дані

У традиційних наборах даних для емоцій, викликаних відео, одна оцінка часто поширюється на весь запис. У підсумку один і той самий ярлик може охоплювати емоційний пік, очікування, нейтральні відрізки та реакції іншої спрямованості. Така схема погано відповідає динаміці емоцій, які виникають і змінюються протягом сюжету. 42

Для моделі це означає, що разом із цільовим сигналом вона отримує багато даних, які не відповідають зазначеній емоції. Система може вчитися розпізнавати не саму реакцію, а випадкові особливості всього відеофрагмента.

Як працює метод негайного пригадування

Процедура FIRMED складається з двох основних етапів:

1. Учасник переглядає експериментальне відео.
2. Одразу після цього відео відтворюють повторно, а учасник указує момент, який запам’ятався як початок емоційної реакції.

Під час повторного перегляду фіксують часову мітку події, категорію емоції та її інтенсивність. Серед категорій зазначено радість, смуток, гнів, страх, огиду й здивування. Силу реакції поділяють на низьку, середню та високу. 9

Негайне повторне відтворення має зберегти часову деталізацію пережитої реакції та зменшити викривлення пам’яті, яке може виникати під час відкладеного опитування. Замість того щоб позначати кожну секунду ролика як «страх» або «радість», метод створює часову емоційну подію, яку можна зіставити із синхронними фізіологічними та поведінковими сигналами. 5

Чому обрали чотирисекундне вікно

Кожну подію FIRMED центрує у чотирисекундному фрагменті: дві секунди до позначеного моменту та дві секунди після нього. Такий підхід має захопити фізіологічну активність навколо емоційної події, не додаючи надто багато сигналу з нерелевантних частин відео.

Це компроміс між двома ризиками. Надто коротке вікно може не встигнути зафіксувати наростання реакції або її безпосередній фізіологічний наслідок. Надто довге — розмиває подію даними з періодів, які не відображають зазначену емоцію.

Абляційний аналіз у роботі підтримує саме таке трактування. За довших вікон ознаки здивування та огиди ставали менш відокремленими, послаблювалося пов’язане зі страхом пригнічення альфа-активності, а характерна для радості гамма-активність втрачала виразність. Загальний висновок полягає в тому, що моделі можуть краще працювати, коли ярлик і вхідний сегмент прив’язані до компактної події, а не до всього ролика. 42

Як перевіряли якість розмітки

Автори не покладалися лише на суб’єктивні спогади учасників. Вони також перевіряли, чи супроводжуються заявлені емоційні піки змінами фізіологічних сигналів, зокрема електроенцефалографії (ЕЕГ) та шкірної провідності. Фізіологічна перевірка є частиною оцінювання запропонованої парадигми негайного пригадування. 42

Надані матеріали підтверджують загальний напрям цієї перевірки: позначені учасниками піки можна зіставляти із синхронними фізіологічними реакціями. Водночас їх недостатньо, щоб надійно підтвердити всі показники, згадані в початковому запиті, — зокрема точне значення каппи Коена, відсоток точності визначення часу або повні результати незалежної перевірки 150 записів. Перед цитуванням цих чисел їх слід звірити з повними таблицями валідації статті.

Це важливе застереження: точна часова мітка все одно може бути результатом недосконалого пригадування. Відповідність фізіологічним сигналам посилює аргументацію на користь методу, але не доводить, що кожен указаний момент є абсолютно точним або що набір даних однаково добре узагальнюється на різних людей, емоції та контексти.

Що змінюється для машинного навчання

Коли розмітка стає часово точною, змінюється і сама постановка завдання. Модель, навчена на ярлику всього відео, змушена працювати з відрізками, які можуть бути нейтральними або містити змішані емоції. Модель, що навчається на сегментах навколо піків, отримує послідовніший зв’язок між вхідними сигналами та цільовою емоцією.

У статті цю ідею перевіряють у розпізнавальних експериментах, порівнюючи детальну подієву розмітку зі звичайною, грубішою розміткою всього випробування. Центральне твердження роботи: точніший навчальний сигнал може покращити розпізнавання навіть тоді, коли подієві сегменти містять менше загальних даних. 42

Надані матеріали не дають змоги надійно перевірити конкретну зміну точності з 34,7% до 38,5% або точне порівняння окремих рекурентних і графових архітектур. Тому ці цифри не варто подавати як підтверджений результат.

Методологічний урок, однак, залишається зрозумілим: додаткова потужність часової моделі найбільш корисна тоді, коли навчальні ярлики вказують на змістовну подію. Якщо вхід містить довгі періоди, не пов’язані з цільовою емоцією, глибша модель може вивчити шум розмітки замість стійкої емоційної закономірності.

Де може знадобитися виявлення емоційних подій

Перехід від класифікації всього ролика до виявлення окремих емоційних подій потенційно важливий для кількох напрямів:

• Людино-комп’ютерна взаємодія. Інтерфейс міг би реагувати саме в момент роздратування, здивування, страху або захоплення користувача, а не приписувати одну емоцію всій взаємодії.
• Дослідження психічного здоров’я. Часові мітки допомогли б відрізняти короткі реакції від ширших афективних моделей і пов’язувати фізіологічні зміни з конкретними стимулами.
• Моніторинг стану здоров’я. Короткі синхронізовані мультимодальні вікна можуть спростити вивчення того, коли виникають фізіологічні зміни та що їх, імовірно, провокує.
• Носимі пристрої. У перспективі системи могли б формувати сповіщення про емоційні події на основі коротких вікон, не чекаючи завершення всієї активності чи запису.

Це можливі дослідницькі наслідки, а не доказ того, що FIRMED уже створив клінічно готовий моніторинг або сповіщення про емоції в реальному часі. Залишаються питання щодо масштабу набору даних, узагальнення між людьми та того, чи підходить фіксоване чотирисекундне вікно для кожної емоційної реакції.

Головний висновок

Основний внесок FIRMED — у переосмисленні того, яким має бути корисний емоційний ярлик. Замість припущення, що відео має одну емоційну «ідентичність» від початку до кінця, метод запитує: коли саме учасник пережив значущу емоційну подію, якою вона була та наскільки сильною.

Такий зсув краще узгоджує розмітку з часовою природою емоцій і потенційно дає мультимодальним моделям чистіший навчальний сигнал. Він не усуває проблем суб’єктивного пригадування чи інтерпретації фізіологічних реакцій, але пропонує точніший спосіб поєднати людські оцінки, сигнали тіла та прогнози машинного навчання. 542