Jak FIRMED mění celá videa na přesně označené emoční události

Přiřadit jednu emoční nálepku celému videu může vypadat jednoduše, pro rozpoznávání emocí z více typů signálů je to ale zásadní problém. Člověk totiž obvykle neprožívá několikaminutový klip jako jeden nepřetržitý a neměnný emoční stav. Ve videu se mohou objevit různé reakce i dlouhé úseky, které nevyvolávají téměř žádné emoce, přesto dataset zachází s celým záznamem jako s jediným tréninkovým příkladem. FIRMED se tento časový šum snaží omezit tím, že anotace váže na konkrétní emoční události, nikoli na celý experiment. 42

Proč štítek pro celé video zkresluje časový průběh

Tradiční datasety emocí vyvolaných videem často používají anotaci celého experimentu: jediný štítek se přiřadí všem fyziologickým datům naměřeným během sledování podnětu. Takový postup neodpovídá dynamice emoční reakce, která může přijít jen na krátký okamžik a v průběhu příběhu se měnit. Výsledný štítek pak může spojovat emoční vrchol s neutrální, očekávací nebo jinak laděnou aktivitou. 42

FIRMED je zkratka pro Fine-grained Immediate Recall-based Multimodal Emotion Dataset, tedy multimodální dataset emocí založený na jemnozrnné okamžité vzpomínce. Jeho metoda se nesnaží získat jediný celkový dojem až po skončení videa. Místo toho hledá okamžik, kdy účastník poprvé pocítil výraznou emoci. 5

Jak funguje okamžité zpětné přehrání

Postup má dvě fáze:

1. Účastník sleduje experimentální video.
2. Bezprostředně poté se video přehraje znovu a účastník označí zapamatovaný začátek emoční reakce.

Při druhém přehrání se zaznamená čas události, kategorie emoce a její intenzita. Mezi sledované kategorie patří štěstí, smutek, hněv, strach, znechucení a překvapení; intenzita se uvádí jako nízká, střední nebo vysoká. 9

Okamžité přehrání má zachovat časový detail původního prožitku a současně omezit zkreslení paměti, které může vzniknout při pozdějším vybavování. Výsledkem proto není označení každé sekundy videa jako „strach“ nebo „štěstí“, ale časově ukotvená emoční událost, kterou lze sladit se synchronizovanými fyziologickými a behaviorálními signály. 5

Proč právě čtyři sekundy

FIRMED každou událost umisťuje do čtyřsekundového úseku: dvě sekundy před nahlášeným okamžikem a dvě sekundy po něm. Smyslem je zachytit fyziologickou aktivitu v okolí emočního vrcholu a zároveň do vzorku nepřimíchat příliš mnoho signálu z nesouvisejících částí videa.

Jde o důležitý kompromis. Příliš krátké okno může přehlédnout náběh reakce nebo bezprostřední fyziologickou odezvu. Příliš dlouhé okno naopak může charakteristický vzorec rozmělnit daty z období, která s označenou emocí nesouvisejí.

Ablace popsaná v práci tento kompromis podporuje. Delší okna vedla k méně zřetelně odděleným charakteristikám překvapení a znechucení, oslabila uváděné potlačení alfa aktivity spojené se strachem a snížila výraznost gama aktivity spojované se štěstím. Obecnější závěr zní, že systémy pro rozpoznávání emocí mohou těžit z krátkého úseku přesně spojeného s událostí více než z celého videoklipu. 42

Jak vědci anotace ověřovali

Navržené štítky neměly stát pouze na subjektivní vzpomínce. Studie zkoumala také to, zda nahlášené emoční vrcholy odpovídají změnám ve fyziologických signálech, včetně EEG a kožní vodivosti. Ověření prostřednictvím fyziologických reakcí je součástí hodnocení paradigmatu okamžité vzpomínky popsaného v práci. 42

Dostupné podklady podporují obecný závěr, že anotace emočních vrcholů lze porovnávat se synchronizovanými fyziologickými reakcemi. Nestačí však k ověření všech čísel uváděných v původním výzkumném zadání — například přesné hodnoty Cohenova kappa, procenta přesnosti časového určení nebo kompletních výsledků nezávislé kontroly 150 záznamů. Před citováním těchto údajů jako potvrzených výsledků je nutné zkontrolovat úplné validační tabulky studie.

To je podstatné omezení. Přesný časový údaj může stále vycházet z nedokonalé vzpomínky. Shoda s fyziologickou reakcí posiluje argument ve prospěch použité metody, sama o sobě ale nedokazuje, že každý označený začátek je absolutně přesný nebo že dataset bude stejně dobře fungovat u všech lidí, emocí a situací.

Co přesnější štítky mění pro strojové učení

Když se štítky zpřesní v čase, mění se i samotná úloha rozpoznávání. Model trénovaný na štítku celého videa se musí učit z úseků, které mohou být neutrální nebo emočně smíšené. Model trénovaný na segmentech kolem vrcholu dostává konzistentnější vztah mezi vstupními signály a cílovou emocí.

Práce FIRMED tento princip testuje v experimentech s rozpoznáváním emocí, kde porovnává jemnozrnné štítky událostí s běžnou hrubší anotací celých videí. Hlavní tvrzení je, že přesnější dohled nad učením může zlepšit rozpoznávání, i když označené úseky obsahují méně celkových dat. 42

Dodaný materiál však spolehlivě nepotvrzuje konkrétní změnu přesnosti z 34,7 % na 38,5 % ani přesné srovnání jednotlivých rekurentních a grafových architektur. Tyto hodnoty proto zde nelze uvádět jako ověřený fakt.

Metodické poučení přesto zůstává srozumitelné: větší kapacita časového modelu je užitečná především tehdy, když tréninkové štítky označují skutečně smysluplnou událost. Pokud vstup obsahuje dlouhé úseky nesouvisející s cílovou emocí, hlubší model se může naučit spíše šum v anotacích než stabilní emoční vzorec.

Kde by detekce emočních událostí mohla najít uplatnění

Přechod od klasifikace celého klipu k detekci konkrétní emoční události může ovlivnit několik oblastí:

• Interakce člověka s počítačem: rozhraní by mohla reagovat na okamžik frustrace, překvapení, strachu nebo radosti, místo aby celé interakci přiřadila jediný emoční stav.
• Výzkum duševního zdraví: časově označené reakce by mohly pomoci odlišit krátkodobý podnět od širších afektivních vzorců a spojit fyziologické změny s konkrétními stimuly.
• Monitorování zdraví: krátká a přesně sladěná multimodální okna mohou usnadnit zkoumání toho, kdy fyziologické změny nastávají a co je pravděpodobně spouští.
• Nositelná elektronika: upozornění na emoční události by v budoucnu mohla vycházet z krátkých oken, aniž by systém musel čekat na dokončení celé aktivity nebo nahrávky.

Jde o možné výzkumné dopady, nikoli o důkaz, že FIRMED už vytvořil klinicky použitelný monitorovací systém nebo upozornění v reálném čase pro chytré hodinky. Zůstávají otázky týkající se velikosti datasetu, přenositelnosti mezi lidmi a toho, zda je pevné čtyřsekundové okno vhodné pro každý typ emoční reakce.

Hlavní závěr

Nejdůležitějším přínosem FIRMED je změna pohledu na to, co představuje užitečný emoční štítek. Video podle této logiky nemá jednu emoční identitu od začátku do konce. Důležitější je zjistit, kdy člověk prožil významnou emoční událost, a zaznamenat její čas, kategorii i intenzitu.

Takový posun lépe odpovídá časové povaze emocí a může multimodálním modelům poskytnout čistší podklady pro učení. Neodstraňuje problémy subjektivního vybavování ani složité interpretace fyziologických signálů, nabízí však cílenější způsob, jak propojit lidskou výpověď, tělesné reakce a predikce strojového učení. 542