FIRMED vil gøre følelsesdata mere præcise ved at finde de afgørende øjeblikke

Når en hel video får én følelsetiket, opstår der et grundlæggende problem for multimodal følelsesgenkendelse: Mennesker oplever sjældent et videoklip som én sammenhængende og uforanderlig følelsestilstand. En fortælling kan indeholde flere reaktioner – eller lange passager, der næsten ikke vækker følelser – mens datasættet stadig behandler hele optagelsen som ét træningseksempel. FIRMED forsøger at begrænse denne tidsmæssige støj ved at knytte annoteringer til konkrete følelseshændelser i stedet for til hele forsøget. 42

Hvorfor etiketter for hele videoer giver støj

Traditionelle datasæt med videoinducerede følelser bruger ofte annotering på forsøgsniveau. Det betyder, at den samme etiket sættes på alle fysiologiske data, der blev indsamlet under en stimulus. Tilgangen passer dårligt til følelsers dynamiske karakter: En reaktion kan opstå kortvarigt og ændre sig undervejs i en fortælling. Resultatet kan blive en etiket, der blander et følelsesmæssigt højdepunkt med neutrale, forventningsfulde eller anderledes ladede perioder. 42

FIRMED står for Fine-grained Immediate Recall-based Multimodal Emotion Dataset. Datasættets annoteringsmetode forsøger at finde det øjeblik, hvor deltageren først oplevede en markant følelse, frem for at bede om én samlet vurdering, efter at videoen er slut. 5

Sådan fungerer metoden med umiddelbar genkaldelse

Processen består af to trin:

1. Deltageren ser forsøgs­videoen.
2. Umiddelbart bagefter afspilles videoen igen, og deltageren angiver det tidspunkt, hvor vedkommende husker, at en følelsesmæssig reaktion begyndte.

Under genafspilningen registreres tidspunktet for hændelsen, følelseskategorien og intensiteten. De beskrevne kategorier er glæde, tristhed, vrede, frygt, afsky og overraskelse, mens intensiteten angives som lav, middel eller høj. 9

Den umiddelbare genafspilning skal bevare den tidsmæssige detalje fra den oprindelige oplevelse og samtidig begrænse den hukommelsesforvrængning, der kan opstå, når man først bliver spurgt langt senere. I stedet for at mærke hvert sekund af et klip som for eksempel »frygt« eller »glæde« skaber metoden en tidsstemplet følelseshændelse, som kan sammenholdes med synkroniserede fysiologiske og adfærdsmæssige signaler. 5

Hvorfor et vindue på fire sekunder?

FIRMED centrerer hver hændelse i et fire sekunder langt segment: to sekunder før og to sekunder efter det markerede tidspunkt. Formålet er at opfange den fysiologiske aktivitet omkring følelseshændelsen uden at tage for meget signal med fra uvedkommende dele af videoen.

Det er et vigtigt designvalg. Et for kort vindue kan overse optakten eller den umiddelbare fysiologiske reaktion. Et for langt vindue kan derimod udvande det hændelsesspecifikke mønster med data fra perioder, der ikke afspejler den rapporterede følelse.

I artiklens ablationsanalyse fremstår dette som en afvejning. Længere vinduer gav mindre tydeligt adskilte signaturer for blandt andet overraskelse og afsky, svækkede den rapporterede frygtrelaterede alfadæmpning og gjorde den glædesrelaterede gammaaktivitet mindre særpræget. Den overordnede pointe er, at følelsesgenkendelse kan få bedre vilkår, når etiket og inputsegment er knyttet til en kompakt hændelse i stedet for til et helt videoklip. 42

Hvordan forskerne undersøgte annoteringerne

Etiketterne skulle ikke stå alene på baggrund af deltagernes hukommelse. Studiet undersøgte også, om de rapporterede følelsesmæssige højdepunkter hang sammen med ændringer i fysiologiske signaler, herunder EEG og hudkonduktans. Artiklen beskriver denne fysiologiske validering som en del af evalueringen af metoden med umiddelbar genkaldelse. 42

Det tilgængelige materiale understøtter den generelle konklusion, at centralt placerede følelseshændelser kan sammenholdes med synkroniserede fysiologiske reaktioner. Det giver imidlertid ikke tilstrækkelige, efterprøvelige oplysninger til at bekræfte alle tal fra den oprindelige forespørgsel – eksempelvis den præcise Cohen’s kappa, procentdelen for tidsmæssig nøjagtighed eller de fulde resultater fra en uafhængig gennemgang af 150 registreringer. Tallene bør derfor kontrolleres i artiklens komplette valideringstabeller, før de citeres som sikre resultater.

Det skel er vigtigt. Et præcist tidsstempel kan stadig være påvirket af ufuldkommen hukommelse. En fysiologisk overensstemmelse styrker argumentet for metoden, men beviser ikke, at hvert angivet starttidspunkt er nøjagtigt, eller at datasættet fungerer lige godt på tværs af mennesker, følelser og situationer.

Hvad de tidsstemplede etiketter ændrer for maskinlæring

Selve genkendelsesopgaven ændrer sig, når etiketterne bliver tidsmæssigt præcise. En model, der trænes på en hel video, skal lære gennem passager, der kan være neutrale eller følelsesmæssigt blandede. En model, der trænes på følelsesmæssige højdepunkter, får en mere ensartet sammenhæng mellem inputsignalerne og den følelse, den skal genkende.

FIRMED-artiklen undersøger denne idé gennem forsøg med genkendelsesydelse, hvor fine annoteringer af hændelser sammenlignes med traditionel, grov annotering. Hovedpåstanden er, at mere præcis supervision kan forbedre genkendelsen, selv om de enkelte hændelsessegmenter indeholder mindre samlet data. 42

Det tilgængelige materiale bekræfter ikke pålideligt den konkrete ændring i nøjagtighed fra 34,7 % til 38,5 % eller den nøjagtige sammenligning mellem de rekurrente og grafbaserede arkitekturer. Tallene bør derfor ikke gentages som fastslåede resultater her.

Den metodiske læring står dog stadig klart: Ekstra kapacitet i tidsmodellen er mest nyttig, når træningsetiketterne identificerer en meningsfuld hændelse. Hvis inputtet indeholder lange perioder uden forbindelse til målfølelsen, kan en dybere model ende med at lære annoteringsstøj i stedet for et robust følelsesmønster.

Hvorfor hændelsesdetektion kan få betydning uden for benchmarks

Overgangen fra klassifikation af hele klip til detektion af følelsesmæssige hændelser kan få betydning på flere områder:

• Menneske-computer-interaktion: Grænseflader kan reagere på det øjeblik, hvor en bruger viser frustration, overraskelse, frygt eller glæde, i stedet for at tildele hele interaktionen én følelsestilstand.
• Forskning i mental sundhed: Tidsstemplede reaktioner kan hjælpe forskere med at skelne kortvarige reaktioner fra bredere affektive mønstre og knytte fysiologiske ændringer til bestemte stimuli.
• Sundhedsovervågning: Korte, synkroniserede multimodale vinduer kan gøre det lettere at undersøge, hvornår fysiologiske ændringer opstår, og hvad der ser ud til at udløse dem.
• Wearables: Følelsesrelaterede alarmer kan på længere sigt baseres på korte, hændelsesudløste vinduer i stedet for at vente på, at en hel aktivitet eller optagelse er afsluttet.

Det er forskningsmæssige perspektiver – ikke dokumentation for, at FIRMED allerede har leveret klinisk egnet overvågning eller alarmer i realtid på wearables. Metoden rejser fortsat spørgsmål om datasættets størrelse, generalisering på tværs af personer og om et fast vindue på fire sekunder passer til alle følelsesmæssige reaktioner.

Den overordnede pointe

FIRMEDs vigtigste bidrag er en ændring i, hvad der regnes som en brugbar følelsetiket. I stedet for at antage, at en video har én følelsesmæssig identitet fra start til slut, spørger metoden, hvornår deltageren oplevede en meningsfuld følelseshændelse – og registrerer tidspunkt, kategori og intensitet.

Det gør etiketterne bedre tilpasset følelsers tidsmæssige forløb og kan give multimodale modeller et renere læringsgrundlag. Metoden fjerner ikke udfordringerne ved subjektiv hukommelse eller fortolkning af fysiologiske signaler, men den tilbyder en mere målrettet måde at forbinde menneskers beskrivelser, kroppens reaktioner og maskinlæringens forudsigelser på. 542