FIRMED, Videolardaki Duygusal Zirveleri Belirleyerek Etiket Gürültüsünü Azaltıyor

Bir videonun tamamına tek bir duygu etiketi vermek, çok kipli duygu tanıma sistemleri için temel bir sorun yaratıyor: İnsanlar bir videoyu genellikle baştan sona aynı duygusal durumda deneyimlemiyor. Bir klipte birden fazla tepki ya da duygunun çok az hissedildiği uzun bölümler bulunabilir. Buna rağmen veri seti, tüm kaydı tek bir eğitim örneği olarak ele alır. FIRMED, bu zamanlama kaynaklı etiket gürültüsünü azaltmak için etiketleri videonun tamamına değil, belirli duygusal olaylara bağlıyor. 42

Tüm videoya verilen etiketler neden sorun yaratıyor?

Video ile duygu uyandırılan geleneksel fizyolojik veri setlerinde çoğu zaman, bir uyaran izlenirken kaydedilen tüm fizyolojik verilere tek bir etiket atanıyor. Ancak duygusal tepkiler, anlatı boyunca kısa süreli olarak ortaya çıkıp değişebiliyor. Bu nedenle tek bir etiket; duygusal bir zirveyi, nötr veya beklenti içeren bölümleri ve hatta farklı yönde duyguların yaşandığı anları aynı sınıfa dahil edebiliyor. 42

Fine-grained Immediate Recall-based Multimodal Emotion Dataset ifadesinin kısaltması olan FIRMED, daha yerel ve ayrıntılı bir yaklaşım benimsiyor. Etiketleme süreci, katılımcının video bittikten sonra genel bir değerlendirme yapmasını beklemek yerine, belirgin bir duyguyu ilk kez hissettiği anı belirlemesini amaçlıyor. 5

Anında hatırlama yöntemi nasıl işliyor?

Süreç iki aşamadan oluşuyor:

1. Katılımcı deneysel videoyu izliyor.
2. Hemen ardından video yeniden oynatılıyor ve katılımcı, duygusal tepkinin başladığını hatırladığı anı gösteriyor.

Yeniden oynatma sırasında olayın zaman damgası, duygu kategorisi ve yoğunluğu kaydediliyor. Belgelenen kategoriler mutluluk, üzüntü, öfke, korku, tiksinme ve şaşkınlığı içeriyor; yoğunluk ise düşük, orta ve yüksek düzeylerde ifade ediliyor. 9

Bu anında yeniden oynatma adımı, daha uzun süre sonra yapılan hatırlamalarda ortaya çıkabilecek bellek çarpılmasını azaltırken ilk deneyimin zamanlamasına ilişkin ayrıntıları korumayı hedefliyor. Böylece videonun her saniyesi “korku” veya “mutluluk” olarak etiketlenmek yerine, senkronize fizyolojik ve davranışsal sinyallerle eşleştirilebilen zaman damgalı bir duygusal olay elde ediliyor. 5

Neden dört saniyelik olay penceresi kullanılıyor?

FIRMED, her olayı bildirilen duygusal anın çevresindeki dört saniyelik bir bölüme yerleştiriyor: olaydan önceki iki saniye ve sonraki iki saniye. Amaç, olayın çevresindeki fizyolojik hareketliliği yakalarken videonun ilgisiz kısımlarından mümkün olduğunca az sinyal taşımak.

Bu, veri setinin önemli tasarım tercihlerinden biri. Çok kısa bir pencere, duygusal anın öncesindeki yükselişi veya hemen sonrasındaki fizyolojik tepkiyi kaçırabilir. Çok uzun bir pencere ise olaya özgü örüntüyü, bildirilen duyguyu yansıtmayan dönemlerden gelen verilerle seyreltebilir.

Makaledeki çıkarım analizi bu dengeye ilişkin kanıt sunuyor. Daha uzun pencerelerde şaşkınlık ve tiksinme gibi duyguların imzaları daha az ayrışırken, korkuyla ilişkilendirilen alfa baskılanması zayıflıyor ve mutlulukla ilişkilendirilen gama etkinliği daha az belirgin hale geliyor. Daha geniş çıkarım şu: Duygu tanıma sistemleri, etiket ve giriş segmenti tüm klibe yayılmak yerine kısa ve belirli bir olayla hizalandığında daha iyi öğrenebilir. 42

Araştırmacılar etiketleri nasıl kontrol etti?

Önerilen etiketler yalnızca öznel hatırlamaya dayanmıyor. Çalışmada, bildirilen duygusal zirvelerin EEG ve deri iletkenliği gibi fizyolojik sinyallerdeki değişimlerle örtüşüp örtüşmediği de inceleniyor. Makale, bu fizyolojik doğrulama adımını anında hatırlama yaklaşımının değerlendirilmesinin bir parçası olarak tanımlıyor. 42

Mevcut kanıtlar, zirve merkezli etiketlerin senkronize fizyolojik tepkilerle karşılaştırılabildiği yönündeki genel sonucu destekliyor. Ancak verilen bilgiler; tam Cohen kappa değerini, zamanlama doğruluğu yüzdesini veya 150 kaydın bağımsız incelemesine ilişkin bütün sonuçları doğrulamak için yeterli değil. Bu rakamlar, kesin bir sonuç olarak aktarılmadan önce makalenin eksiksiz doğrulama tablolarından kontrol edilmeli.

Bu ayrım önemli. Kesin bir zaman damgası, yine de kusursuz olmayan bir hatırlamaya dayanabilir. Fizyolojik karşılıklar, etiketleme yönteminin güvenilirliğine ilişkin kanıtı güçlendirir; ancak bildirilen her başlangıç anının kesin olduğunu veya veri setinin farklı kişiler, duygular ve bağlamlar arasında aynı ölçüde genellenebildiğini kanıtlamaz.

Zirve merkezli etiketler makine öğrenmesini nasıl değiştiriyor?

Etiketler zaman açısından hassas hale geldiğinde tanıma görevi de değişiyor. Tüm videoya verilen bir etiketle eğitilen model, nötr ya da duyguların karıştığı bölümlerden geçerek öğrenmek zorunda kalıyor. Zirve merkezli segmentlerle eğitilen model ise giriş sinyalleriyle hedef duygu arasında daha tutarlı bir ilişki görüyor.

FIRMED makalesi bu yaklaşımı, ince ayrıntılı olay etiketlerini geleneksel, kaba etiketlemeyle karşılaştıran tanıma deneyleriyle değerlendiriyor. Çalışmanın temel iddiası, daha hassas bir denetimin, toplam veri miktarı daha az olsa bile tanımayı iyileştirebileceği yönünde. 42

Verilen materyaller, başarımın yüzde 34,7’den yüzde 38,5’e yükseldiği iddiasını ya da tekrarlayan ve grafik tabanlı mimariler arasındaki model bazlı kesin karşılaştırmayı güvenilir biçimde doğrulamıyor. Bu nedenle söz konusu rakamlar burada doğrulanmış sonuçlar olarak tekrarlanmamalı.

Yöntemsel ders ise açık: Ek zamansal model kapasitesi, ancak eğitim etiketleri anlamlı bir olayı tanımladığında gerçekten işe yarıyor. Girdi, hedef duyguyla ilgisiz uzun bölümler içeriyorsa daha derin bir model sağlam bir duygusal örüntü yerine etiket gürültüsünü öğrenebilir.

Olay tespiti neden kıyaslamaların ötesinde önemli olabilir?

Tüm klibi sınıflandırmaktan duygusal olayları tespit etmeye geçiş, çeşitli uygulama alanlarını etkileyebilir:

• İnsan-bilgisayar etkileşimi: Arayüzler, tüm etkileşime tek bir duygusal durum atamak yerine kullanıcının hayal kırıklığı, şaşkınlık, korku veya memnuniyet gösterdiği ana tepki verebilir.
• Ruh sağlığı araştırmaları: Zaman damgalı tepkiler, kısa süreli reaksiyonlarla daha geniş duygusal örüntüleri ayırmaya ve fizyolojik değişimleri belirli uyaranlarla ilişkilendirmeye yardımcı olabilir.
• Sağlık takibi: Kısa ve hizalanmış çok kipli pencereler, fizyolojik değişimlerin ne zaman meydana geldiğini ve neyin tetikleyici olabileceğini incelemeyi kolaylaştırabilir.
• Giyilebilir cihazlar: Duyguya dayalı uyarılar, gelecekte tüm etkinliğin veya kaydın bitmesini beklemek yerine kısa olay pencerelerinden yararlanabilir.

Bunlar araştırma alanındaki olası çıkarımlardır; FIRMED’in klinik düzeyde izleme veya gerçek zamanlı giyilebilir uyarılar geliştirdiğini gösteren kanıtlar değildir. Yaklaşımın veri seti ölçeği, kişiler arası genellenebilirlik ve sabit dört saniyelik pencerenin her duygu için uygun olup olmadığı gibi soruları hâlâ yanıtlaması gerekiyor.

Daha geniş sonuç

FIRMED’in temel katkısı, yararlı bir duygu etiketinin ne olması gerektiğine ilişkin bakışı değiştirmesi. Yöntem, bir videonun başından sonuna kadar tek bir “duygusal kimliği” olduğunu varsaymak yerine, katılımcının anlamlı bir duygusal olayı ne zaman yaşadığını soruyor ve bu anı kategori ile yoğunluk bilgisiyle birlikte kaydediyor.

Bu değişim, etiketleri duyguların zaman içindeki davranışıyla daha uyumlu hale getiriyor ve çok kipli modellere daha temiz bir öğrenme sinyali sağlayabilir. Öznel hatırlama veya fizyolojik sinyallerin yorumlanmasıyla ilgili güçlükleri ortadan kaldırmıyor; ancak insan raporlarını, bedensel sinyalleri ve makine öğrenmesi tahminlerini birbirine bağlamak için daha hedefli bir yol sunuyor. 542