FIRMED repère les pics émotionnels pour réduire le bruit des données vidéo

Attribuer une seule émotion à une vidéo entière pose un problème simple, mais majeur, pour la reconnaissance multimodale des émotions : une personne ne traverse presque jamais un contenu audiovisuel dans un état émotionnel uniforme. Une séquence peut provoquer plusieurs réactions, séparées par de longs passages sans émotion marquée, alors que le jeu de données traite malgré tout l’enregistrement comme un seul exemple d’apprentissage. FIRMED cherche à réduire ce bruit temporel en associant les annotations à des événements émotionnels précis plutôt qu’à l’ensemble de l’expérience. 42

Pourquoi l’étiquette « une vidéo, une émotion » brouille les données

Dans les jeux de données physiologiques traditionnels, une même étiquette est souvent appliquée à tous les signaux recueillis pendant la diffusion d’un stimulus. Cette annotation à l’échelle de l’essai correspond mal au caractère dynamique des émotions : une réaction peut apparaître brièvement, évoluer au fil du récit ou laisser place à un état de valence différente. Le signal d’apprentissage finit alors par associer une émotion à des secondes qui ne la reflètent pas réellement. 42

FIRMED, acronyme de Fine-grained Immediate Recall-based Multimodal Emotion Dataset, adopte une approche plus fine. Son protocole vise à identifier le moment où le participant a ressenti pour la première fois une émotion saillante, au lieu de lui demander un jugement global une fois la vidéo terminée. 5

Le principe de la relecture immédiate

Le protocole se déroule en deux temps :

1. Le participant regarde la vidéo expérimentale.
2. Juste après, la vidéo est immédiatement relancée afin qu’il indique le début mémorisé de sa réaction émotionnelle.

Lors de cette relecture, le dispositif enregistre l’horodatage de l’événement, la catégorie émotionnelle et son intensité. Les catégories documentées sont la joie, la tristesse, la colère, la peur, le dégoût et la surprise. L’intensité est répartie entre trois niveaux : faible, moyenne et forte. 9

L’objectif de cette relecture immédiate est de conserver la dimension temporelle de l’expérience tout en limitant les déformations liées à un souvenir sollicité beaucoup plus tard. Plutôt que d’étiqueter chaque seconde d’un clip comme relevant de la peur ou de la joie, la méthode produit un événement émotionnel horodaté, qui peut être mis en regard de signaux physiologiques et comportementaux synchronisés. 5

Pourquoi une fenêtre de quatre secondes ?

Chaque événement FIRMED est centré sur une séquence de quatre secondes : deux secondes avant et deux secondes après le moment émotionnel signalé. Cette fenêtre doit permettre de capter la montée de la réaction et sa réponse physiologique immédiate, sans inclure trop de données provenant de parties sans rapport avec l’événement.

Le choix constitue un compromis important. Une fenêtre trop courte risque de manquer la préparation ou le déclenchement de la réponse corporelle. Une fenêtre trop longue, à l’inverse, peut noyer la signature de l’événement dans des signaux issus d’états neutres ou d’autres émotions.

L’analyse par ablation présentée dans l’étude illustre cette tension. Avec des fenêtres plus longues, les signatures de la surprise et du dégoût se distinguaient moins nettement ; la suppression de l’activité alpha associée à la peur s’affaiblissait également, tout comme la spécificité de l’activité gamma liée à la joie. Ces résultats plaident pour des segments courts, centrés sur l’événement, plutôt que pour l’étiquetage d’un clip dans son intégralité. 42

Des annotations confrontées aux signaux physiologiques

Les étiquettes proposées ne reposent pas uniquement sur le souvenir subjectif des participants. L’étude examine aussi si les pics rapportés correspondent à des variations de signaux physiologiques, notamment l’EEG et la conductance cutanée. Cette étape de validation physiologique fait partie de l’évaluation du protocole de relecture immédiate. 42

Les éléments disponibles permettent de conclure que les annotations centrées sur les pics peuvent être comparées à des réponses physiologiques synchronisées. En revanche, ils ne suffisent pas à confirmer tous les chiffres évoqués dans la demande initiale, notamment la valeur exacte du kappa de Cohen, le pourcentage de précision temporelle ou l’ensemble des résultats d’une vérification indépendante portant sur 150 enregistrements. Ces données doivent être contrôlées dans les tableaux complets de validation de l’article avant toute citation.

Cette nuance est essentielle : un horodatage précis peut malgré tout refléter un souvenir imparfait. La correspondance avec les signaux physiologiques renforce la crédibilité du protocole, sans démontrer que chaque instant signalé est exact ni que la méthode se généralise de la même façon à toutes les personnes, émotions et situations.

Ce que changent les étiquettes centrées sur les pics pour l’apprentissage automatique

La tâche de reconnaissance évolue elle aussi lorsque les étiquettes deviennent temporellement précises. Un modèle entraîné avec une étiquette couvrant toute la vidéo doit apprendre à travers des passages neutres ou émotionnellement mixtes. Avec des segments centrés sur les pics, il dispose d’une relation plus régulière entre les signaux d’entrée et l’émotion cible.

L’article évalue cette hypothèse en comparant les annotations fines de FIRMED à l’étiquetage conventionnel à l’échelle de l’essai. Son idée centrale est qu’une supervision plus précise peut améliorer la reconnaissance, même si les segments retenus contiennent moins de données au total. 42

Les informations fournies ne permettent toutefois pas de vérifier de manière fiable le passage d’une précision de 34,7 % à 38,5 %, ni le détail des comparaisons entre architectures récurrentes et modèles fondés sur des graphes. Ces chiffres restent donc non confirmés ici.

La leçon méthodologique demeure claire : augmenter la capacité temporelle d’un modèle est surtout utile lorsque les étiquettes identifient un événement pertinent. Si l’entrée contient de longues portions sans rapport avec l’émotion cible, un modèle plus profond risque d’apprendre le bruit d’annotation plutôt qu’un motif émotionnel robuste.

Des applications possibles, mais encore expérimentales

Le passage d’une classification de la vidéo entière à une détection d’événements émotionnels pourrait intéresser plusieurs domaines :

• Interaction humain-machine : une interface pourrait réagir au moment où l’utilisateur manifeste de la frustration, de la surprise, de la peur ou de la satisfaction, plutôt que d’attribuer un état unique à toute l’interaction.
• Recherche en santé mentale : des réactions horodatées pourraient aider à distinguer une réponse ponctuelle d’un schéma affectif plus large et à relier une variation physiologique à un stimulus précis.
• Suivi de santé : des fenêtres multimodales courtes et synchronisées pourraient faciliter l’étude du moment où surviennent certains changements corporels et de ce qui semble les déclencher.
• Objets connectés : à terme, des alertes émotionnelles déclenchées par un événement pourraient s’appuyer sur de courtes fenêtres de signal, sans attendre la fin d’une activité ou d’un enregistrement.

Il s’agit d’implications de recherche, et non de la preuve que FIRMED a déjà produit un dispositif de suivi clinique ou des alertes émotionnelles en temps réel sur montre connectée. Des questions subsistent sur la taille du jeu de données, sa généralisation à de nouvelles personnes et la pertinence d’une fenêtre fixe de quatre secondes pour toutes les réactions émotionnelles.

À retenir

La contribution principale de FIRMED tient à une redéfinition de l’étiquette utile en reconnaissance des émotions. Au lieu de considérer qu’une vidéo possède une seule « identité émotionnelle » du début à la fin, le protocole demande quand un participant a vécu un événement significatif, puis en consigne le moment, la catégorie et l’intensité.

Ce changement rend les annotations plus compatibles avec la dynamique réelle des émotions et peut fournir aux modèles multimodaux une supervision plus propre. Il ne supprime ni les limites du rappel subjectif ni les difficultés d’interprétation des signaux physiologiques, mais il propose une manière plus ciblée de relier déclarations humaines, réactions corporelles et prédictions algorithmiques. 542