Hoe FIRMED videolabels omzet in nauwkeurige emotionele gebeurtenissen

Een video roept zelden van begin tot eind precies dezelfde emotie op. Toch krijgen deelnemers in veel datasets voor multimodale emotieherkenning één label voor de hele opname. Daarmee worden emotionele hoogtepunten samengevoegd met neutrale, afwachtende of anders geladen momenten. Voor machine-learningmodellen levert dat ruis op: het signaal en het label sluiten niet altijd op elkaar aan. 42

FIRMED probeert dat probleem op te lossen door emoties als afzonderlijke gebeurtenissen vast te leggen. De naam staat voor Fine-grained Immediate Recall-based Multimodal Emotion Dataset. In plaats van pas na afloop van de volledige video om één algemene beoordeling te vragen, laat de methode deelnemers direct terugkijken en het moment markeren waarop zij voor het eerst een duidelijke emotie ervoeren. 5

Waarom één label voor een hele video tekortschiet

Traditionele datasets met video-geïnduceerde emotionele en fysiologische reacties gebruiken vaak zogeheten whole-trial-annotatie. Alle gegevens die tijdens een stimulus worden verzameld, krijgen dan dezelfde emotiecategorie. Dat past slecht bij emoties, die juist tijdelijk kunnen opkomen en in de loop van een verhaal kunnen veranderen. 42

Een video kan meerdere reacties oproepen, maar ook lange stukken bevatten waarin nauwelijks een emotionele verandering zichtbaar is. Als al die seconden hetzelfde label krijgen, moet een model leren van gegevens die mogelijk niets met de doel-emotie te maken hebben.

Zo werkt de directe terughaalmethode

De annotatieprocedure bestaat uit twee stappen:

1. Deelnemers bekijken de experimentele video.
2. Meteen daarna wordt de video opnieuw afgespeeld. Tijdens die herhaling geven deelnemers aan wanneer zij zich herinneren dat een emotionele reactie begon.

De annotatie bevat het tijdstip van de gebeurtenis, de emotiecategorie en de intensiteit. De beschreven categorieën zijn blijdschap, verdriet, boosheid, angst, walging en verrassing. De intensiteit wordt ingedeeld als laag, gemiddeld of hoog. 9

Door de video onmiddellijk opnieuw af te spelen, probeert FIRMED de tijdsinformatie uit de oorspronkelijke ervaring beter te behouden dan bij een veel later herinneringsmoment. Het resultaat is geen label voor elke seconde van de opname, maar een tijdgebonden emotionele gebeurtenis die kan worden gekoppeld aan gelijktijdig verzamelde fysiologische en gedragsmatige signalen. 5

Waarom een venster van vier seconden?

Rond elk gemarkeerd moment gebruikt FIRMED een segment van vier seconden: twee seconden vóór en twee seconden na het gemelde beginpunt. Zo kunnen onderzoekers de fysiologische opbouw en de onmiddellijke reactie rond een emotioneel moment analyseren zonder te veel omliggende, mogelijk irrelevante gegevens mee te nemen.

Die keuze vormt een compromis. Een korter venster kan de voorbereiding op de reactie of het eerste lichamelijke effect missen. Een langer venster kan het specifieke patroon juist verdunnen met signalen uit momenten die niet bij de gemelde emotie horen.

De ablatieanalyse in het onderzoek wordt aangevoerd als ondersteuning voor die afweging. Bij langere vensters werden de kenmerken van onder meer verrassing en walging minder duidelijk van elkaar onderscheiden. Ook werd de gemelde onderdrukking van aan angst gerelateerde alfa-activiteit zwakker, terwijl de kenmerkende gamma-activiteit bij blijdschap minder uitgesproken werd. Dat wijst erop dat compacte, rond een gebeurtenis gecentreerde segmenten beter kunnen aansluiten op het emotionele signaal dan een volledig videofragment. 42

Hoe zijn de labels gecontroleerd?

De onderzoekers vertrouwden niet uitsluitend op wat deelnemers zich herinnerden. Zij bekeken ook of de gemelde emotionele pieken samenvielen met veranderingen in fysiologische signalen, waaronder EEG en huidgeleiding. Die fysiologische controle maakt deel uit van de evaluatie van het directe terughaalprincipe. 42

De beschikbare informatie ondersteunt de algemene conclusie dat piekgerichte annotaties kunnen worden vergeleken met gesynchroniseerde fysiologische reacties. Er is echter onvoldoende verifieerbare informatie om specifieke cijfers uit de oorspronkelijke onderzoeksvraag met zekerheid over te nemen, zoals de exacte Cohen’s kappa, het percentage voor tijdsnauwkeurigheid of de volledige resultaten van een onafhankelijke beoordeling van 150 registraties.

Dat voorbehoud is belangrijk. Een nauwkeurig tijdstip kan nog steeds worden beïnvloed door onvolmaakte herinnering. Fysiologische overeenstemming versterkt de onderbouwing van de methode, maar bewijst niet dat elk gemeld beginmoment exact is of dat de dataset voor iedere persoon, emotie en context even goed werkt.

Wat verandert er voor machine learning?

Met tijdsgebonden labels verandert ook de herkenningstaak. Een model dat met één label voor een hele video wordt getraind, moet door neutrale of emotioneel gemengde stukken heen leren. Een model dat alleen piekgerichte segmenten krijgt, ziet een consistentere relatie tussen de invoersignalen en de doel-emotie.

Het onderzoek vergelijkt daarom fijnmazige gebeurtenislabels met de gebruikelijke grofmazige annotatie. De centrale claim is dat nauwkeurigere supervisie de herkenning kan verbeteren, ook al bevatten de geselecteerde segmenten minder totale data. 42

De aangeleverde bronnen bevestigen niet betrouwbaar de specifieke stijging van 34,7 naar 38,5 procent en evenmin de precieze vergelijking tussen afzonderlijke recurrente en grafiekgebaseerde modellen. Die cijfers kunnen hier daarom niet als vaststaand resultaat worden gepresenteerd.

De methodologische les blijft wel overeind: extra modelcapaciteit is vooral nuttig wanneer de labels een betekenisvolle gebeurtenis aanwijzen. Als een invoer lange periodes bevat die niets met de doel-emotie te maken hebben, kan een complexer model ook vooral annotatieruis leren.

Mogelijke toepassingen

De stap van classificatie per videofragment naar detectie van emotionele gebeurtenissen kan op termijn relevant zijn voor verschillende onderzoeksgebieden:

• Mens-computerinteractie: een interface zou kunnen reageren op het moment waarop frustratie, verrassing, angst of blijdschap zichtbaar wordt, in plaats van één emotie aan een volledige interactie toe te kennen.
• Onderzoek naar mentale gezondheid: tijdstempels kunnen helpen om kortdurende reacties te onderscheiden van bredere affectieve patronen en fysiologische veranderingen aan specifieke prikkels te koppelen.
• Gezondheidsmonitoring: korte, op elkaar afgestemde multimodale vensters kunnen inzicht geven in wanneer lichamelijke veranderingen optreden en welke stimuli ermee samenhangen.
• Wearables: een toekomstig systeem zou mogelijk een emotie-alarm kunnen activeren op basis van een compact gebeurtenisvenster, zonder te wachten tot een volledige activiteit of opname is afgerond.

Dit zijn mogelijke onderzoeksimplicaties, geen bewijs dat FIRMED al klinisch betrouwbare monitoring of realtime meldingen op wearables heeft opgeleverd. Ook blijven vragen bestaan over de omvang van de dataset, de toepasbaarheid op andere personen en de vraag of een vast venster van vier seconden geschikt is voor elke emotionele reactie.

De kern van de aanpak

FIRMED verandert vooral de definitie van een bruikbaar emotielabel. Een video krijgt niet langer automatisch één emotionele identiteit van begin tot eind. In plaats daarvan wordt vastgelegd wanneer een deelnemer een betekenisvolle emotionele gebeurtenis ervoer, welke emotie dat was en hoe intens die reactie volgens de deelnemer voelde.

Daarmee sluiten de labels beter aan op het tijdelijke karakter van emoties en krijgen multimodale modellen mogelijk schonere supervisie. De aanpak neemt de onzekerheid van subjectieve herinnering en fysiologische interpretatie niet weg, maar biedt wel een gerichtere manier om menselijke rapportages, lichamelijke signalen en modelvoorspellingen met elkaar te verbinden. 542