如果一段影片由頭到尾只得一個情緒標籤，機器學習模型就可能要將平靜、期待，甚至另一種情緒的片段，全部當成同一個答案。問題是，人觀看影片時的情緒並非一條平滑不變的直線，往往只在某個劇情轉折或畫面出現一個短暫高峰。整段影片共用一個標籤，因而容易產生「時間標籤雜訊」。42

由整段標註改為情緒事件

FIRMED 全名為 Fine-grained Immediate Recall-based Multimodal Emotion Dataset，即「基於細緻即時回憶的多模態情緒數據集」。它的做法不是在影片播完後，要求參與者概括評價整段內容，而是讓對方在觀看後即時重播影片，指出自己首次感受到一個明顯情緒的時間點。5

參與者在重播期間會標記：

• 情緒首次出現的時間戳；
• 情緒類別；
• 情緒強度。

涵蓋的情緒包括快樂、悲傷、憤怒、恐懼、厭惡及驚訝，強度則分為低、中、高三個級別。9

這樣做的關鍵，在於將主觀感受變成一個可與同步生理及行為訊號對齊的「情緒事件」，而不是把影片每一秒都粗略視為同一種情緒。5

點解是前後各兩秒？

FIRMED 以每個標記時間為中心，擷取前兩秒至後兩秒、合共四秒的片段。這個設計希望同時保留情緒出現前的生理反應變化，以及事件發生後的即時反應；如果窗口太短，可能捕捉不到情緒升溫或身體反應，如果太長，則容易混入與該情緒無關的訊號。

論文的消融分析正好反映這個取捨。窗口拉長後，驚訝及厭惡的特徵分離度下降，與恐懼相關的 alpha 抑制亦變弱，快樂相關的 gamma 活動則不再那麼突出。換句話說，對情緒識別而言，將標籤和輸入訊號鎖定在短而集中的事件上，可能比使用整段影片更有效。42

標註是否真的反映身體反應？

研究並非只靠參與者的回憶作判斷，亦檢查情緒高峰是否對應 EEG 及皮膚電導等生理訊號變化。現有資料支持以同步生理反應，去檢視這種即時回憶標註方法是否捕捉到具意義的情緒時刻。42

不過，這並不代表每一個時間戳都絕對準確。即使生理訊號與參與者報告相互呼應，回憶始終可能有偏差；而且不同人士、不同情緒及不同情境，反應時間亦未必一樣。

需要特別留意的是，題目所提及的「獨立覆核 150 份紀錄」、具體 Cohen’s kappa，以及時間準確率，未能從現有可核實資料中確認。因此，這些數字不應在未查閱論文完整驗證表格前，當成已確立的研究結果引用。

對機器學習有咩改變？

採用整段影片標籤時，模型要在大量可能沒有情緒、或情緒混雜的訊號中找答案。改用情緒高峰標籤後，輸入片段與目標情緒之間的關係更一致，訓練訊號亦更集中。

FIRMED 以識別效能實驗比較細緻事件標籤與傳統整段標籤，核心主張是：即使每個事件片段包含的數據較少，更精準的監督訊號仍有機會改善情緒識別表現。42

至於由 34.7% 提升至 38.5%，以及深層循環模型或圖神經網絡是否獲益更大，現有資料不足以可靠核實，故不宜直接當成已確認數字。較穩妥的解讀是：當標籤清楚指出一個時間上集中的情緒事件，額外的時序及空間建模能力才較有機會學到真正的情緒模式；否則，模型可能只是在學習標註雜訊。

未來可能應用在哪裏？

由「整段影片分類」轉向「情緒事件偵測」，可能為幾個方向帶來新思路：

• 人機互動： 系統可以在偵測到使用者出現挫敗、驚訝、恐懼或喜悅的時刻作出反應，而不是將整次互動歸類為單一情緒。
• 心理健康研究： 時間戳記有助分辨短暫反應與較持續的情緒模式，並研究生理變化與特定刺激之間的關係。
• 健康監測： 對齊的短時段多模態數據，或有助分析生理變化在何時出現，以及可能由甚麼刺激觸發。
• 穿戴式裝置： 未來情緒提示可能根據短片段即時觸發，而不必等到整項活動或整段錄音完成。

以上屬於研究方向，並不代表 FIRMED 已經證明可以提供臨床級監測或即時穿戴式警報。數據集規模、跨人士泛化能力，以及固定四秒窗口是否適合所有情緒反應，仍然有待進一步研究。

重點：標籤要貼近情緒真正發生的時間

FIRMED 最重要的改變，是重新思考一個情緒標籤應該代表甚麼。影片未必由頭到尾只有一種「情緒身份」；更實際的問題是：參與者在甚麼時候經歷了一個有意義的情緒事件？

透過記錄事件時間、情緒類別和強度，FIRMED 令主觀報告、生理訊號及機器學習預測更容易互相對照。它沒有消除人類回憶及生理解讀的不確定性，但就為多模態情緒識別提供了一種更聚焦、亦更貼近情緒時間變化的標註方式。542

如果一段影片由頭到尾只得一個情緒標籤，機器學習模型就可能要將平靜、期待，甚至另一種情緒的片段，全部當成同一個答案。問題是，人觀看影片時的情緒並非一條平滑不變的直線，往往只在某個劇情轉折或畫面出現一個短暫高峰。整段影片共用一個標籤，因而容易產生「時間標籤雜訊」。42

由整段標註改為情緒事件

FIRMED 全名為 Fine-grained Immediate Recall-based Multimodal Emotion Dataset，即「基於細緻即時回憶的多模態情緒數據集」。它的做法不是在影片播完後，要求參與者概括評價整段內容，而是讓對方在觀看後即時重播影片，指出自己首次感受到一個明顯情緒的時間點。5

參與者在重播期間會標記：

• 情緒首次出現的時間戳；
• 情緒類別；
• 情緒強度。

涵蓋的情緒包括快樂、悲傷、憤怒、恐懼、厭惡及驚訝，強度則分為低、中、高三個級別。9

這樣做的關鍵，在於將主觀感受變成一個可與同步生理及行為訊號對齊的「情緒事件」，而不是把影片每一秒都粗略視為同一種情緒。5

點解是前後各兩秒？

FIRMED 以每個標記時間為中心，擷取前兩秒至後兩秒、合共四秒的片段。這個設計希望同時保留情緒出現前的生理反應變化，以及事件發生後的即時反應；如果窗口太短，可能捕捉不到情緒升溫或身體反應，如果太長，則容易混入與該情緒無關的訊號。

論文的消融分析正好反映這個取捨。窗口拉長後，驚訝及厭惡的特徵分離度下降，與恐懼相關的 alpha 抑制亦變弱，快樂相關的 gamma 活動則不再那麼突出。換句話說，對情緒識別而言，將標籤和輸入訊號鎖定在短而集中的事件上，可能比使用整段影片更有效。42

標註是否真的反映身體反應？

研究並非只靠參與者的回憶作判斷，亦檢查情緒高峰是否對應 EEG 及皮膚電導等生理訊號變化。現有資料支持以同步生理反應，去檢視這種即時回憶標註方法是否捕捉到具意義的情緒時刻。42

不過，這並不代表每一個時間戳都絕對準確。即使生理訊號與參與者報告相互呼應，回憶始終可能有偏差；而且不同人士、不同情緒及不同情境，反應時間亦未必一樣。

需要特別留意的是，題目所提及的「獨立覆核 150 份紀錄」、具體 Cohen’s kappa，以及時間準確率，未能從現有可核實資料中確認。因此，這些數字不應在未查閱論文完整驗證表格前，當成已確立的研究結果引用。

對機器學習有咩改變？

採用整段影片標籤時，模型要在大量可能沒有情緒、或情緒混雜的訊號中找答案。改用情緒高峰標籤後，輸入片段與目標情緒之間的關係更一致，訓練訊號亦更集中。

FIRMED 以識別效能實驗比較細緻事件標籤與傳統整段標籤，核心主張是：即使每個事件片段包含的數據較少，更精準的監督訊號仍有機會改善情緒識別表現。42

至於由 34.7% 提升至 38.5%，以及深層循環模型或圖神經網絡是否獲益更大，現有資料不足以可靠核實，故不宜直接當成已確認數字。較穩妥的解讀是：當標籤清楚指出一個時間上集中的情緒事件，額外的時序及空間建模能力才較有機會學到真正的情緒模式；否則，模型可能只是在學習標註雜訊。

未來可能應用在哪裏？

由「整段影片分類」轉向「情緒事件偵測」，可能為幾個方向帶來新思路：

• 人機互動： 系統可以在偵測到使用者出現挫敗、驚訝、恐懼或喜悅的時刻作出反應，而不是將整次互動歸類為單一情緒。
• 心理健康研究： 時間戳記有助分辨短暫反應與較持續的情緒模式，並研究生理變化與特定刺激之間的關係。
• 健康監測： 對齊的短時段多模態數據，或有助分析生理變化在何時出現，以及可能由甚麼刺激觸發。
• 穿戴式裝置： 未來情緒提示可能根據短片段即時觸發，而不必等到整項活動或整段錄音完成。

以上屬於研究方向，並不代表 FIRMED 已經證明可以提供臨床級監測或即時穿戴式警報。數據集規模、跨人士泛化能力，以及固定四秒窗口是否適合所有情緒反應，仍然有待進一步研究。

重點：標籤要貼近情緒真正發生的時間

FIRMED 最重要的改變，是重新思考一個情緒標籤應該代表甚麼。影片未必由頭到尾只有一種「情緒身份」；更實際的問題是：參與者在甚麼時候經歷了一個有意義的情緒事件？

透過記錄事件時間、情緒類別和強度，FIRMED 令主觀報告、生理訊號及機器學習預測更容易互相對照。它沒有消除人類回憶及生理解讀的不確定性，但就為多模態情緒識別提供了一種更聚焦、亦更貼近情緒時間變化的標註方式。542