傳統的影片情緒資料集，常把一段完整刺激影片視為一個單位，替整場實驗記錄套上單一情緒標籤。問題在於，人不會從影片開始到結束都維持同一種情緒：一段敘事可能出現多次反應，也可能包含很長的平淡、等待或情緒轉換片段。若所有資料都被標成同一種情緒，模型便可能把與目標情緒無關的訊號一併當成訓練依據，形成時間上的標籤噪音。42

從「整段影片」改標「情緒事件」

FIRMED 是 Fine-grained Immediate Recall-based Multimodal Emotion Dataset 的縮寫，中文可理解為「基於細粒度即時回憶的多模態情緒資料集」。它的核心做法，是不要求參與者在影片結束後，替整段影片做一次總體判斷，而是讓參與者指出自己首次感受到某個顯著情緒的時刻。5

流程主要分成兩步：

1. 參與者先觀看實驗影片。
2. 影片結束後立即重新播放，參與者在回看過程中指出記得的情緒反應開始時間。

研究記錄了事件的時間戳記、情緒類別與強度。涵蓋的離散情緒包括快樂、悲傷、憤怒、恐懼、厭惡與驚訝，強度則分為低、中、高三個級別。9

這種「立即回看」的安排，旨在趁記憶仍鮮明時保留情緒反應的時間細節，並減少隔了一段時間才回憶所可能產生的記憶偏差。最後得到的不是「這部影片等於恐懼」之類的整體標籤，而是一個可以與同步生理及行為訊號對齊的、具體時間戳記情緒事件。5

為什麼事件視窗設定為四秒？

FIRMED 以每個標記時刻為中心，擷取前兩秒至後兩秒、合計四秒的訊號。這個設計希望同時捕捉情緒事件發生前的生理準備，以及事件發生後的即時反應，又避免納入太多不相關的影片片段。

視窗太短，可能只看見反應的一部分，錯過情緒累積或緊接而來的生理變化；視窗太長，則可能把中性狀態、預期階段，或另一種情緒的訊號混在一起，稀釋事件本身的特徵。

論文中的消融分析呈現了這項取捨。較長的視窗會讓驚訝與厭惡的特徵較不容易分離，也會削弱與恐懼相關的 α 波抑制，以及快樂相關 γ 波活動的獨特性。換句話說，情緒辨識或許更適合使用與事件緊密對齊的短片段，而不是把整段影片都視為同一個情緒樣本。42

生理訊號能否支持主觀回憶？

研究並非只依賴參與者的主觀回憶，也檢視情緒高峰是否與 EEG、皮膚電導等生理訊號的變化相互對應。這項生理驗證，是研究評估即時回憶標註方式的一部分。42

目前提供的資料支持一個較審慎的結論：以情緒高峰為中心的標註，可以拿來與同步生理反應比較，而相關的生理對應關係也為這種方法提供支持。不過，精準的時間戳記仍可能受到記憶誤差影響；生理反應與主觀報告一致，也不代表每一個起始時間都完全準確，更不能直接推論資料集能在不同人物、情緒與情境中同樣適用。

此外，現有材料不足以核實原始研究問題所提到的所有細節，例如 150 筆紀錄的獨立審查結果、確切的 Cohen’s κ 值，或時間標記準確率。這些數字在引用前，仍應回到論文完整的標註驗證表查核，而不宜在此視為已確認的研究結果。

對機器學習訓練有何改變？

當標籤變得更精確，模型面對的學習任務也會改變。使用整段影片標籤時，模型必須從可能中性或情緒混雜的大量訊號中，推測一個總體答案；使用情緒高峰標籤時，輸入片段與目標情緒之間的關係更集中，監督訊號也更一致。

FIRMED 透過辨識實驗比較細粒度事件標籤與傳統粗粒度標籤。論文的核心主張是：即使事件片段包含的總資料量較少，更精確的標籤仍可能改善情緒辨識表現。42

但目前提供的證據不足以可靠核實由 34.7% 提升至 38.5% 的具體準確率變化，也不足以確認不同循環模型與圖神經網路模型的逐一比較結果。因此，這些數字不應在此當作已確定事實重述。

方法上的啟示仍然清楚：當訓練標籤能指出一個有意義、時間上對齊的情緒事件時，模型增加時間建模能力才更可能學到穩健模式。若輸入包含大量與目標情緒無關的片段，更深的模型反而可能學到標註噪音，而不是情緒本身。

從整段分類走向情緒事件偵測

這種標註思路未來可能影響數個研究與應用方向：

• 人機互動： 系統可以回應使用者剛出現挫折、驚訝、恐懼或愉悅的時刻，而不是替整次互動指定一個籠統情緒。
• 心理健康研究： 帶有時間戳記的反應，有助研究者區分短暫情緒反應與較廣泛的情感模式，並把生理變化與特定刺激連結起來。
• 健康監測： 對齊的短時間多模態訊號，可能讓研究者更容易分析生理變化何時出現，以及哪些事件可能觸發變化。
• 穿戴式裝置： 未來的情緒提示或許能根據短時間事件視窗觸發，而不必等到整段活動或完整錄音結束。

這些是研究層面的可能性，並不代表 FIRMED 已經證明能提供臨床級監測或即時穿戴式警示。資料集規模、跨個體泛化能力，以及固定四秒視窗是否適合所有情緒反應，仍有待進一步驗證。

FIRMED 的真正意義

FIRMED 改變的，不只是資料集的標註格式，也包括研究者對「有用情緒標籤」的理解。影片不一定從頭到尾只有一種情緒；更合理的問題可能是：參與者在什麼時間點經歷了一個有意義的情緒事件？那個事件屬於哪一類，強度又是多少？

將標籤從整段影片縮小到具體事件，讓資料更貼近情緒反應本身的時間特性，也可能為多模態模型提供更乾淨的訓練訊號。它無法消除主觀回憶或生理訊號解讀的難題，但提供了一條更精準的連結路徑，把人的報告、身體反應與機器學習預測放在同一個時間座標上。542

傳統的影片情緒資料集，常把一段完整刺激影片視為一個單位，替整場實驗記錄套上單一情緒標籤。問題在於，人不會從影片開始到結束都維持同一種情緒：一段敘事可能出現多次反應，也可能包含很長的平淡、等待或情緒轉換片段。若所有資料都被標成同一種情緒，模型便可能把與目標情緒無關的訊號一併當成訓練依據，形成時間上的標籤噪音。42

從「整段影片」改標「情緒事件」

FIRMED 是 Fine-grained Immediate Recall-based Multimodal Emotion Dataset 的縮寫，中文可理解為「基於細粒度即時回憶的多模態情緒資料集」。它的核心做法，是不要求參與者在影片結束後，替整段影片做一次總體判斷，而是讓參與者指出自己首次感受到某個顯著情緒的時刻。5

流程主要分成兩步：

1. 參與者先觀看實驗影片。
2. 影片結束後立即重新播放，參與者在回看過程中指出記得的情緒反應開始時間。

研究記錄了事件的時間戳記、情緒類別與強度。涵蓋的離散情緒包括快樂、悲傷、憤怒、恐懼、厭惡與驚訝，強度則分為低、中、高三個級別。9

這種「立即回看」的安排，旨在趁記憶仍鮮明時保留情緒反應的時間細節，並減少隔了一段時間才回憶所可能產生的記憶偏差。最後得到的不是「這部影片等於恐懼」之類的整體標籤，而是一個可以與同步生理及行為訊號對齊的、具體時間戳記情緒事件。5

為什麼事件視窗設定為四秒？

FIRMED 以每個標記時刻為中心，擷取前兩秒至後兩秒、合計四秒的訊號。這個設計希望同時捕捉情緒事件發生前的生理準備，以及事件發生後的即時反應，又避免納入太多不相關的影片片段。

視窗太短，可能只看見反應的一部分，錯過情緒累積或緊接而來的生理變化；視窗太長，則可能把中性狀態、預期階段，或另一種情緒的訊號混在一起，稀釋事件本身的特徵。

論文中的消融分析呈現了這項取捨。較長的視窗會讓驚訝與厭惡的特徵較不容易分離，也會削弱與恐懼相關的 α 波抑制，以及快樂相關 γ 波活動的獨特性。換句話說，情緒辨識或許更適合使用與事件緊密對齊的短片段，而不是把整段影片都視為同一個情緒樣本。42

生理訊號能否支持主觀回憶？

研究並非只依賴參與者的主觀回憶，也檢視情緒高峰是否與 EEG、皮膚電導等生理訊號的變化相互對應。這項生理驗證，是研究評估即時回憶標註方式的一部分。42

目前提供的資料支持一個較審慎的結論：以情緒高峰為中心的標註，可以拿來與同步生理反應比較，而相關的生理對應關係也為這種方法提供支持。不過，精準的時間戳記仍可能受到記憶誤差影響；生理反應與主觀報告一致，也不代表每一個起始時間都完全準確，更不能直接推論資料集能在不同人物、情緒與情境中同樣適用。

此外，現有材料不足以核實原始研究問題所提到的所有細節，例如 150 筆紀錄的獨立審查結果、確切的 Cohen’s κ 值，或時間標記準確率。這些數字在引用前，仍應回到論文完整的標註驗證表查核，而不宜在此視為已確認的研究結果。

對機器學習訓練有何改變？

當標籤變得更精確，模型面對的學習任務也會改變。使用整段影片標籤時，模型必須從可能中性或情緒混雜的大量訊號中，推測一個總體答案；使用情緒高峰標籤時，輸入片段與目標情緒之間的關係更集中，監督訊號也更一致。

FIRMED 透過辨識實驗比較細粒度事件標籤與傳統粗粒度標籤。論文的核心主張是：即使事件片段包含的總資料量較少，更精確的標籤仍可能改善情緒辨識表現。42

但目前提供的證據不足以可靠核實由 34.7% 提升至 38.5% 的具體準確率變化，也不足以確認不同循環模型與圖神經網路模型的逐一比較結果。因此，這些數字不應在此當作已確定事實重述。

方法上的啟示仍然清楚：當訓練標籤能指出一個有意義、時間上對齊的情緒事件時，模型增加時間建模能力才更可能學到穩健模式。若輸入包含大量與目標情緒無關的片段，更深的模型反而可能學到標註噪音，而不是情緒本身。

從整段分類走向情緒事件偵測

這種標註思路未來可能影響數個研究與應用方向：

• 人機互動： 系統可以回應使用者剛出現挫折、驚訝、恐懼或愉悅的時刻，而不是替整次互動指定一個籠統情緒。
• 心理健康研究： 帶有時間戳記的反應，有助研究者區分短暫情緒反應與較廣泛的情感模式，並把生理變化與特定刺激連結起來。
• 健康監測： 對齊的短時間多模態訊號，可能讓研究者更容易分析生理變化何時出現，以及哪些事件可能觸發變化。
• 穿戴式裝置： 未來的情緒提示或許能根據短時間事件視窗觸發，而不必等到整段活動或完整錄音結束。

這些是研究層面的可能性，並不代表 FIRMED 已經證明能提供臨床級監測或即時穿戴式警示。資料集規模、跨個體泛化能力，以及固定四秒視窗是否適合所有情緒反應，仍有待進一步驗證。

FIRMED 的真正意義

FIRMED 改變的，不只是資料集的標註格式，也包括研究者對「有用情緒標籤」的理解。影片不一定從頭到尾只有一種情緒；更合理的問題可能是：參與者在什麼時間點經歷了一個有意義的情緒事件？那個事件屬於哪一類，強度又是多少？

將標籤從整段影片縮小到具體事件，讓資料更貼近情緒反應本身的時間特性，也可能為多模態模型提供更乾淨的訓練訊號。它無法消除主觀回憶或生理訊號解讀的難題，但提供了一條更精準的連結路徑，把人的報告、身體反應與機器學習預測放在同一個時間座標上。542