Hvordan FIRMED gjør videobaserte følelsesetiketter om til presise hendelser

Det er sjelden slik at en hel video fremkaller én og samme følelse fra start til slutt. En scene kan inneholde flere reaksjoner, lange nøytrale partier eller skifter mellom ulike følelsesuttrykk. Likevel har mange datasett for multimodal følelsesgjenkjenning gitt hele videoopptaket én samlet etikett. Det kan føre til at kunstig intelligens trenes på mye informasjon som ikke egentlig hører sammen med følelsen den skal lære å kjenne igjen. 42

FIRMED – forkortelse for Fine-grained Immediate Recall-based Multimodal Emotion Dataset – forsøker å løse dette ved å knytte etiketten til en konkret emosjonell hendelse, ikke til hele forsøksperioden. 5

Problemet med én etikett for en hel video

Tradisjonelle datasett for videoinduserte følelser bruker ofte såkalt helsekvens- eller helforsøksannotasjon. Det betyr at én følelse blir brukt som merkelapp for alle fysiologiske signaler som er samlet inn mens deltakeren ser på et stimulus.

En slik tilnærming passer dårlig med følelsenes tidsmessige dynamikk. En reaksjon kan oppstå brått, være kortvarig og endre seg mens fortellingen fortsetter. En samlet etikett kan derfor blande en sterk emosjonell topp med forventning, nøytral aktivitet eller en følelse med motsatt valør. Resultatet er det forskerne omtaler som tidsmessig etikettstøy. 42

Slik fungerer FIRMEDs metode

FIRMED bruker en prosess for «umiddelbar gjenkalling» i to trinn:

1. Deltakeren ser forsøksvideoen.
2. Rett etterpå spilles videoen av på nytt, og deltakeren markerer når vedkommende husker å ha kjent en tydelig følelse.

Under avspillingen registreres tidspunktet for hendelsen, følelseskategori og intensitet. Kategoriene omfatter glede, tristhet, sinne, frykt, avsky og overraskelse. Intensiteten angis som lav, middels eller høy. 9

Poenget med den umiddelbare omvisningen er å bevare den tidsmessige detaljen i opplevelsen og samtidig begrense hukommelsesforvrengning som kan oppstå når en person blir spurt lenge etterpå. I stedet for å merke hvert sekund i en video som «frykt» eller «glede», får forskerne en tidsstemplet hendelse som kan sammenstilles med synkroniserte fysiologiske og atferdsmessige signaler. 5

Metoden er inspirert av ideen om at særlig intense øyeblikk ofte huskes bedre enn mindre markante deler av en opplevelse. Det betyr imidlertid ikke at en tilbakekalt tidsangivelse automatisk er helt nøyaktig.

Hvorfor et tidsvindu på fire sekunder?

Rundt hver markerte hendelse bruker FIRMED et tidsvindu på fire sekunder: to sekunder før og to sekunder etter det rapporterte tidspunktet.

Dette er et kompromiss. Et for kort vindu kan gå glipp av opptrappingen eller den umiddelbare fysiologiske reaksjonen. Et for langt vindu kan på sin side blande inn signaler fra deler av videoen som ikke hører til den aktuelle følelsen.

Ablasjonsanalysene i artikkelen presenteres som støtte for dette valget. Lengre vinduer ga mindre tydelige signaturer for blant annet overraskelse og avsky, svekket den rapporterte alfadempingen knyttet til frykt og gjorde den lykkespesifikke gammaaktiviteten mindre særpreget. Den overordnede lærdommen er at følelsesgjenkjenning kan ha nytte av at både etiketten og datasettet er konsentrert rundt en kort, men meningsfull hendelse. 42

Fysiologiske signaler skulle støtte annotasjonene

Forskerne baserte seg ikke bare på deltakernes subjektive minner. Studien undersøkte også om de rapporterte følelsestoppene hang sammen med endringer i fysiologiske signaler, blant annet EEG og hudledningsevne. Denne fysiologiske kontrollen inngår i evalueringen av metoden med umiddelbar gjenkalling. 42

Det tilgjengelige materialet støtter den generelle konklusjonen om at toppbaserte annotasjoner kan sammenlignes med synkroniserte fysiologiske reaksjoner. Det er derimot ikke nok verifiserbar informasjon her til å bekrefte alle tallene som ble etterspurt i den opprinnelige forskningsbeskrivelsen – blant annet nøyaktig Cohens kappa, prosent for tidsmessig treffsikkerhet eller fullstendige resultater fra en uavhengig gjennomgang av 150 registreringer.

Disse tallene bør derfor kontrolleres mot artikkelens komplette valideringstabeller før de omtales som etablerte resultater. Fysiologisk samsvar styrker argumentet for metoden, men beviser ikke at hvert rapporterte starttidspunkt er presist, eller at datasettet fungerer like godt på tvers av personer, følelser og situasjoner.

Hva endrer seg for maskinlæring?

Når etikettene blir tidsmessig presise, endres også selve oppgaven for modellen. En modell som trenes på en hel video, må lære fra perioder som kan være nøytrale eller inneholde blandede følelser. En modell som trenes på sentrerte hendelser, får et mer konsistent forhold mellom signalene i inndataene og følelsen den skal forutsi.

FIRMED-artikkelen undersøker dette gjennom forsøk som sammenligner finmaskede hendelsesetiketter med tradisjonell, grovkornet merking. Hovedpåstanden er at mer presis veiledning kan forbedre gjenkjenningen selv om hvert eksempel inneholder mindre total datamengde. 42

Materialet som er tilgjengelig her, bekrefter ikke sikkert den konkrete endringen fra 34,7 til 38,5 prosent eller den nøyaktige sammenligningen mellom ulike tilbakevendende og grafbaserte arkitekturer. Disse tallene bør derfor ikke gjentas som dokumenterte fakta på dette grunnlaget.

Den metodiske lærdommen er likevel tydelig: Mer modellkapasitet over tid er mest nyttig når treningsetiketten identifiserer en reell hendelse. Hvis inndataene inneholder lange partier som ikke har med målfølelsen å gjøre, kan en dypere modell ende med å lære etikettstøy i stedet for et robust følelsesmønster.

Mulige bruksområder – og viktige forbehold

Overgangen fra klassifisering av hele videoklipp til deteksjon av emosjonelle hendelser kan få betydning for flere forsknings- og teknologiområder:

• Menneske–maskin-interaksjon: Et system kan reagere når en bruker faktisk viser frustrasjon, overraskelse, frykt eller glede, i stedet for å tildele én følelsestilstand til en hel samtale eller oppgave.
• Forskning på mental helse: Tidsstemplede reaksjoner kan gjøre det enklere å skille kortvarige responser fra mer vedvarende følelsesmønstre og undersøke hvordan fysiologiske endringer henger sammen med bestemte stimuli.
• Helseovervåking: Korte, samordnede multimodale vinduer kan gjøre det lettere å undersøke når fysiologiske endringer oppstår, og hva som ser ut til å utløse dem.
• Bærbar teknologi: På lengre sikt kan følelsesrelaterte varsler baseres på korte hendelsesvinduer, i stedet for at systemet må vente til en hel aktivitet eller et helt opptak er ferdig.

Dette er mulige forskningsmessige konsekvenser, ikke dokumentasjon på at FIRMED allerede tilbyr klinisk overvåking eller sanntidsvarsler i bærbare enheter. Metoden har fortsatt åpne spørsmål knyttet til datasettets størrelse, generalisering mellom personer og om et fast fire sekunders vindu passer for alle typer følelsesreaksjoner.

Den viktigste endringen

FIRMED utfordrer selve ideen om hva en nyttig følelsetikett er. I stedet for å anta at en video har én emosjonell identitet fra begynnelse til slutt, spør metoden: Når opplevde deltakeren en meningsfull følelseshendelse, hvilken følelse var det, og hvor sterk var den?

Det gjør etikettene bedre tilpasset følelsenes tidsmessige natur og kan gi multimodale modeller renere treningssignal. Metoden fjerner ikke problemene med subjektiv hukommelse eller tolkning av fysiologiske data, men den gir en mer målrettet måte å koble menneskers egne rapporter til kroppslige signaler og maskinlæringens prediksjoner. 542