Bagaimana FIRMED Mengubah Label Emosi Video Menjadi Peristiwa yang Lebih Presisi

Memberi satu label emosi untuk seluruh video terdengar praktis, tetapi kurang mencerminkan cara emosi sebenarnya muncul. Dalam satu rekaman, seseorang bisa mengalami beberapa reaksi berbeda—atau melewati durasi panjang tanpa respons emosional yang berarti. Namun, dataset tradisional tetap memperlakukan seluruh rekaman sebagai satu contoh pelatihan dengan satu label. Akibatnya, data yang netral, bersifat antisipatif, atau memiliki valensi berbeda dapat tercampur dengan momen emosi yang menjadi sasaran model. 42

FIRMED, singkatan dari Fine-grained Immediate Recall-based Multimodal Emotion Dataset, menawarkan pendekatan yang lebih terarah. Sistem anotasinya tidak hanya menanyakan emosi yang dirasakan setelah video selesai, tetapi berusaha menemukan kapan peserta pertama kali mengalami emosi yang dianggap menonjol. 5

Mengapa label satu video bisa menimbulkan derau temporal?

Dataset fisiologis yang menggunakan video sebagai pemicu emosi umumnya menerapkan anotasi tingkat keseluruhan percobaan (whole-trial annotation). Artinya, satu label diterapkan pada seluruh data fisiologis yang direkam selama video diputar.

Masalahnya, respons emosional bersifat dinamis dan sering kali hanya muncul pada bagian tertentu dari sebuah narasi. Label yang mencakup seluruh video bisa menggabungkan puncak emosi dengan bagian yang netral, fase menunggu, atau reaksi dengan arah emosi yang berbeda. Dalam pembelajaran mesin, ketidakselarasan antara sinyal dan label inilah yang dapat menjadi derau label temporal. 42

Cara kerja metode immediate recall

FIRMED menggunakan proses anotasi dalam dua tahap:

1. Peserta menonton video eksperimen.
2. Segera setelah itu, video diputar ulang dan peserta menunjukkan kembali kapan respons emosional yang diingat mulai muncul.

Saat pemutaran ulang, peneliti mencatat waktu kejadian, kategori emosi, dan tingkat intensitasnya. Kategori yang didokumentasikan meliputi kebahagiaan, kesedihan, kemarahan, ketakutan, jijik, dan keterkejutan. Intensitasnya dibagi menjadi rendah, sedang, dan tinggi. 9

Pemutaran ulang segera ini dirancang untuk mempertahankan detail waktu dari pengalaman awal sekaligus mengurangi distorsi ingatan yang mungkin terjadi jika peserta baru diminta mengingatnya jauh setelah video berakhir. Jadi, alih-alih memberi label “takut” pada setiap detik video, metode ini menghasilkan satu peristiwa emosi bertanda waktu yang dapat disejajarkan dengan sinyal fisiologis dan perilaku yang direkam secara sinkron. 5

Mengapa jendelanya empat detik?

Setiap peristiwa FIRMED berpusat pada segmen berdurasi empat detik: dua detik sebelum dan dua detik setelah momen emosi yang dilaporkan.

Pilihan ini merupakan kompromi penting. Jendela yang terlalu pendek dapat melewatkan proses munculnya respons atau perubahan fisiologis sesaat setelah emosi terasa. Sebaliknya, jendela yang terlalu panjang berisiko memasukkan sinyal dari bagian video yang tidak berkaitan dengan peristiwa tersebut.

Analisis ablasi dalam makalah itu mendukung pertimbangan tersebut. Jendela yang lebih panjang menghasilkan ciri yang kurang terpisah untuk emosi seperti keterkejutan dan jijik, melemahkan penekanan alfa yang berkaitan dengan rasa takut, serta mengurangi keunikan aktivitas gamma yang berkaitan dengan kebahagiaan. Temuan ini mengarah pada satu pelajaran metodologis: label dan potongan sinyal yang ringkas dan selaras dapat lebih berguna daripada label yang disebarkan ke seluruh klip. 42

Seberapa kuat validasi anotasinya?

Label FIRMED tidak dimaksudkan untuk bergantung sepenuhnya pada ingatan subjektif peserta. Peneliti juga memeriksa apakah puncak emosi yang dilaporkan bertepatan dengan perubahan sinyal fisiologis, termasuk EEG dan konduktansi kulit. Validasi fisiologis ini menjadi bagian dari evaluasi terhadap paradigma immediate recall. 42

Bukti yang tersedia mendukung kesimpulan umum bahwa anotasi yang berpusat pada puncak dapat dibandingkan dengan respons fisiologis yang direkam secara sinkron. Namun, bukti tersebut belum cukup untuk memverifikasi semua angka yang disebut dalam permintaan riset awal, termasuk nilai Cohen’s kappa, persentase ketepatan waktu, atau hasil lengkap peninjauan independen terhadap 150 catatan.

Dengan kata lain, penanda waktu yang presisi belum tentu selalu mencerminkan waktu kejadian secara sempurna. Kesesuaian dengan sinyal fisiologis memperkuat argumen untuk metode ini, tetapi tidak membuktikan bahwa setiap waktu mulai yang dilaporkan benar-benar akurat atau bahwa dataset akan bekerja sama baiknya pada semua orang, emosi, dan konteks.

Dampaknya terhadap model pembelajaran mesin

Ketika label dibuat lebih presisi secara temporal, tugas pengenalan emosi juga berubah. Model yang dilatih menggunakan label seluruh video harus belajar dari bagian yang mungkin netral atau memuat campuran emosi. Sebaliknya, model yang dilatih menggunakan segmen berpusat pada puncak menerima hubungan yang lebih konsisten antara sinyal masukan dan emosi target.

Makalah FIRMED mengevaluasi gagasan ini melalui eksperimen pengenalan emosi, dengan membandingkan label peristiwa yang lebih terperinci dengan anotasi konvensional yang lebih kasar. Klaim utamanya adalah bahwa pengawasan yang lebih presisi dapat meningkatkan pengenalan, meskipun segmen peristiwa yang digunakan memuat lebih sedikit total data. 42

Materi yang tersedia belum dapat memverifikasi secara andal perubahan akurasi spesifik dari 34,7% menjadi 38,5%, maupun perbandingan rinci antar-model, termasuk arsitektur berulang dan berbasis graf. Karena itu, angka-angka tersebut tidak seharusnya dianggap sebagai hasil yang telah terkonfirmasi di sini.

Pelajaran metodologisnya tetap jelas: kapasitas temporal tambahan akan paling bermanfaat jika label pelatihan benar-benar menunjuk pada peristiwa yang bermakna. Jika masukan berisi banyak bagian yang tidak berkaitan dengan emosi target, model yang lebih dalam justru dapat mempelajari derau anotasi, bukan pola emosi yang kuat.

Potensi penggunaan di luar tolok ukur riset

Peralihan dari klasifikasi seluruh klip ke deteksi peristiwa emosional dapat membuka beberapa arah penelitian:

• Interaksi manusia-komputer: antarmuka berpotensi merespons saat pengguna menunjukkan frustrasi, keterkejutan, ketakutan, atau kegembiraan, alih-alih menetapkan satu kondisi emosional untuk seluruh interaksi.
• Riset kesehatan mental: respons bertanda waktu dapat membantu membedakan reaksi sesaat dari pola afektif yang lebih luas serta menghubungkan perubahan fisiologis dengan stimulus tertentu.
• Pemantauan kesehatan: jendela multimodal yang singkat dan selaras dapat memudahkan penelitian mengenai kapan perubahan fisiologis terjadi dan apa yang tampaknya memicunya.
• Perangkat wearable: dalam jangka panjang, peringatan emosi dapat dipicu oleh peristiwa tertentu melalui jendela sinyal yang ringkas, tanpa harus menunggu seluruh aktivitas atau rekaman selesai.

Kemungkinan tersebut masih merupakan implikasi riset. Belum ada dasar untuk menyatakan bahwa FIRMED telah menghasilkan pemantauan klinis atau peringatan emosi waktu nyata pada perangkat wearable. Pendekatan ini juga masih menghadapi pertanyaan tentang skala dataset, kemampuan generalisasi lintas individu, dan apakah jendela tetap empat detik cocok untuk setiap jenis respons emosional.

Inti perubahan yang ditawarkan FIRMED

Kontribusi utama FIRMED adalah mengubah cara kita mendefinisikan label emosi yang berguna. Video tidak lagi diasumsikan memiliki satu “identitas emosional” dari awal hingga akhir. Sebaliknya, metode ini menanyakan kapan peserta mengalami peristiwa emosi yang bermakna, lalu mencatat momen, kategori, dan intensitasnya.

Perubahan tersebut membuat label lebih sesuai dengan sifat emosi yang berlangsung dari waktu ke waktu dan berpotensi memberi model multimodal supervisi yang lebih bersih. Metode ini tidak menghapus tantangan ingatan subjektif maupun interpretasi sinyal fisiologis, tetapi menawarkan cara yang lebih terarah untuk menghubungkan laporan manusia, respons tubuh, dan prediksi mesin. 542