FIRMED muuttaa koko videon tunteet tarkasti ajoitetuiksi tunnehetkiksi

Videon katsominen ei yleensä tarkoita yhden tunteen kokemista alusta loppuun. Tarinassa voi olla useita reaktioita, ja niiden välissä pitkiä neutraaleja tai odottavia jaksoja. Silti monissa videopohjaisissa tunneaineistoissa koko tallenne on merkitty yhdellä tunnekategorialla. Tämä voi johtaa tilanteeseen, jossa koneoppimismalli yrittää yhdistää saman tunteen sekä tunnehuippuun että hetkiin, joina katsoja ei kokenut juuri mitään. 42

FIRMED eli Fine-grained Immediate Recall-based Multimodal Emotion Dataset pyrkii ratkaisemaan ongelman siirtämällä huomion koko videosta yksittäisiin tunne tapahtumiin. Menetelmässä osallistuja ei anna yhtä yleisarviota videon päätyttyä, vaan merkitsee pian katselun jälkeen, milloin merkittävä tunne hänen muistinsa mukaan alkoi. 5

Miksi koko videon yksi tunnearvio aiheuttaa kohinaa?

Perinteisessä koko kokeen kattavassa annotoinnissa sama tunnearvio ulotetaan kaikkeen ärsykkeen aikana kerättyyn fysiologiseen dataan. Menettely on yksinkertainen, mutta se sopii huonosti tunteiden ajalliseen luonteeseen. Tunteet voivat voimistua hetkeksi, vaihtua toiseksi tunteeksi tai jäädä pitkäksi aikaa taustalle.

Kun koko video merkitään esimerkiksi peloksi, aineistoon päätyy väistämättä myös kohtia, joissa osallistuja ennakoi tapahtumaa, palautui tunnehuipusta tai koki jotain aivan muuta. Tällainen epätarkka opetusdata tunnetaan ajallisena label noise -ongelmana eli aikaleimoihin liittyvänä merkintäkohinana. 42

Näin välitön palautus toimii

FIRMEDin annotointiprosessi etenee kahdessa vaiheessa:

1. Osallistuja katsoo kokeessa käytettävän videon.
2. Video toistetaan heti uudelleen, ja osallistuja osoittaa muistamansa tunteen aloitushetken.

Uudelleentoiston aikana kirjataan tapahtuman aikaleima, tunnekategoria ja voimakkuus. Kategorioihin kuuluvat ilo, suru, viha, pelko, inho ja yllätys. Voimakkuus ilmoitetaan kolmiportaisella asteikolla: matala, keskitasoinen tai korkea. 9

Välittömän uudelleentoiston tarkoitus on säilyttää kokemuksen ajallinen yksityiskohtaisuus ja samalla pienentää pitkän viiveen aiheuttamaa muistiharhaa. Tulos ei ole koko videon kattava yleistys, vaan fysiologisiin ja käyttäytymisen signaaleihin kohdistettava, aikaleimattu tunnehetki. 5

Miksi tapahtuman ympärille valittiin neljä sekuntia?

FIRMED rajaa jokaisen merkityn tapahtuman ympärille neljän sekunnin ikkunan: kaksi sekuntia ennen osallistujan ilmoittamaa hetkeä ja kaksi sekuntia sen jälkeen. Näin mukaan saadaan sekä tunnehuippua edeltävä mahdollinen voimistuminen että välitön fysiologinen reaktio.

Valinta on kompromissi. Liian lyhyt jakso voi leikata pois tunteen rakentumisen tai juuri tapahtuman jälkeen näkyvän kehon reaktion. Liian pitkä jakso taas saattaa sekoittaa mukaan dataa, joka ei liity merkittyyn tunteeseen.

Abl aatiokokeet tukevat tätä ajatusta. Kun tapahtumaikkunaa pidennettiin, yllätyksen ja inhon piirteet erottuivat heikommin. Myös pelkoon liittyvä alfatoiminnan vaimeneminen heikkeni, samoin onnellisuuteen liitetyn gamma-aktiivisuuden erottuvuus. Tulokset viittaavat siihen, että tunne kannattaa yhdistää tiiviiseen, tarkasti kohdistettuun jaksoon koko videon sijaan. 42

Miten merkintöjä arvioitiin?

Tutkimuksessa ei luotettu pelkästään osallistujien muistikuviin. Raportissa tarkastellaan myös sitä, näkyvätkö ilmoitettujen tunnehuippujen kohdalla muutokset fysiologisissa signaaleissa, kuten aivosähkökäyrässä eli EEG:ssä ja ihon sähkönjohtavuudessa. Näin subjektiivista kokemusta voidaan verrata samanaikaisesti kerättyihin kehon reaktioihin. 42

Toimitettu aineisto tukee yleistä johtopäätöstä, jonka mukaan tunnehuippuihin kohdistetut merkinnät voidaan yhdistää synkronoituihin fysiologisiin muutoksiin. Se ei kuitenkaan riitä vahvistamaan kaikkia alkuperäisessä tutkimuspyynnössä mainittuja tarkkoja lukuja, kuten Cohenin kappa -arvoa, ajoitustarkkuutta tai 150 tietueen riippumattoman tarkistuksen täydellisiä tuloksia. Nämä luvut olisi tarkistettava tutkimuksen varsinaisista validointitaulukoista ennen niiden esittämistä varmoina tuloksina.

Tämä rajaus on tärkeä: tarkka aikaleima voi silti perustua epätäydelliseen muistiin. Fysiologinen vastaavuus vahvistaa menetelmän uskottavuutta, mutta se ei tarkoita, että jokainen ilmoitettu aloitushetki olisi täsmällinen tai että tulokset siirtyisivät sellaisenaan kaikkiin ihmisiin, tunteisiin ja tilanteisiin.

Mitä tarkemmat merkinnät merkitsevät koneoppimiselle?

Koko videon tunnearvio pakottaa mallin oppimaan myös neutraaleista ja tunnepitoisuudeltaan sekoittuneista jaksoista. Tapahtumakeskeisessä opetuksessa syötteen ja tavoitetunteen välinen yhteys on johdonmukaisempi.

FIRMEDin tutkimusasetelmassa verrataan hienojakoisia tapahtumamerkintöjä perinteiseen koko kokeen kattavaan annotointiin. Tutkimuksen keskeinen väite on, että tarkempi ohjaus voi parantaa tunnistusta, vaikka yksittäinen tapahtumajakso sisältää vähemmän dataa kuin koko video. 42

Toimitetut lähteet eivät kuitenkaan vahvista luotettavasti tarkkaa muutosta 34,7 prosentista 38,5 prosenttiin eivätkä kaikkia mallikohtaisia tuloksia, jotka koskevat rekurrenttisia ja graafipohjaisia arkkitehtuureja. Siksi näitä lukuja ei pidä tässä pitää varmistettuina.

Menetelmällinen oppi on silti selvä: suurempi ajallinen mallikapasiteetti auttaa parhaiten silloin, kun opetusmerkintä kuvaa todellista tapahtumaa. Muuten syvempi malli voi oppia tunnekuvion sijaan annotointikohinaa.

Voisiko tapahtumien tunnistamisesta olla käytännön hyötyä?

Tunnehuippuihin perustuva lähestymistapa voi pitkällä aikavälillä vaikuttaa useisiin sovelluksiin:

• Ihmisen ja tietokoneen vuorovaikutus: käyttöliittymä voisi reagoida juuri turhautumisen, yllätyksen, pelon tai ilon hetkellä sen sijaan, että koko vuorovaikutus luokitellaan yhdellä tunteella.
• Mielenterveyden tutkimus: aikaleimat voivat auttaa erottamaan lyhyet reaktiot laajemmista tunne- ja mielialamalleista sekä yhdistämään fysiologisia muutoksia tiettyihin ärsykkeisiin.
• Terveydentilan seuranta: lyhyet, synkronoidut monimuotoiset jaksot voivat helpottaa sen tutkimista, milloin kehon muutokset tapahtuvat ja mikä niitä mahdollisesti laukaisee.
• Puettavat laitteet: tulevaisuuden hälytys voisi perustua tapahtuman ympärille rajattuun lyhyeen jaksoon sen sijaan, että järjestelmä odottaisi koko suorituksen tai tallenteen päättymistä.

Nämä ovat tutkimuksesta nousevia mahdollisuuksia, eivät osoitus siitä, että FIRMED olisi jo tuottanut kliinisen tason seurantaa tai reaaliaikaisia puettavien laitteiden hälytyksiä. Avoimiksi jäävät muun muassa aineiston koko, yleistyminen eri ihmisiin ja se, sopiiko kiinteä neljän sekunnin ikkuna kaikkiin tunnereaktioihin.

Ydinajatus

FIRMEDin tärkein muutos koskee sitä, millaista tunnearviota pidetään koneoppimiselle hyödyllisenä. Videolla ei oleteta olevan yhtä pysyvää tunneidentiteettiä alusta loppuun. Sen sijaan kysytään: milloin osallistuja koki merkittävän tunne tapahtuman, mikä tunne se oli ja kuinka voimakkaana se koettiin?

Tämä tekee merkinnöistä paremmin yhteensopivia tunteiden ajallisen vaihtelun kanssa ja voi antaa monimuotoisille malleille puhtaampaa opetusdataa. Menetelmä ei poista muistamisen tai fysiologisten tulkintojen ongelmia, mutta se tarjoaa kohdennetumman tavan yhdistää ihmisen oma kokemus, kehon signaalit ja koneoppimisen ennusteet. 542