FIRMED เปลี่ยนการติดป้ายอารมณ์ทั้งวิดีโอ ให้เป็นเหตุการณ์อารมณ์ที่ระบุเวลาได้

การกำหนดป้ายอารมณ์เพียงหนึ่งป้ายให้กับวิดีโอทั้งคลิปกำลังสร้างปัญหาให้กับงานรู้จำอารมณ์หลายโมดัล เพราะอารมณ์ของคนไม่ได้คงที่ตลอดการรับชม วิดีโอหนึ่งเรื่องอาจมีทั้งช่วงตกใจ เศร้า หรือโกรธสลับกัน รวมถึงช่วงยาว ๆ ที่แทบไม่กระตุ้นอารมณ์ แต่ชุดข้อมูลแบบเดิมยังนับข้อมูลทั้งหมดเป็นตัวอย่างฝึกเดียวกันและใช้ป้ายเดียวครอบคลุมทั้งคลิป 42

FIRMED หรือ Fine-grained Immediate Recall-based Multimodal Emotion Dataset เสนอวิธีแก้ปัญหา temporal label noise ด้วยการผูกป้ายเข้ากับ “เหตุการณ์อารมณ์” ที่เกิดขึ้นในเวลาจำเพาะ แทนการตัดสินอารมณ์ย้อนหลังเพียงครั้งเดียวหลังวิดีโอจบ 5

ทำไมป้ายอารมณ์ทั้งคลิปจึงทำให้ข้อมูลปนเปื้อน

ชุดข้อมูลสรีรวิทยาที่ใช้วิดีโอกระตุ้นอารมณ์แบบดั้งเดิมมักใช้การกำกับระดับทั้งการทดลอง กล่าวคือ นำอารมณ์หนึ่งประเภทไปใช้กับสัญญาณสรีรวิทยาทั้งหมดที่บันทึกระหว่างดูวิดีโอ วิธีนี้ไม่สอดคล้องกับธรรมชาติของอารมณ์ที่เกิดขึ้นเป็นช่วง ๆ และเปลี่ยนแปลงไปตามเนื้อเรื่อง

ป้ายเดียวจึงอาจครอบคลุมทั้งช่วงที่อารมณ์พุ่งสูง ช่วงรอคอย ช่วงเป็นกลาง หรือช่วงที่มีอารมณ์คนละขั้วกัน ผลคือโมเดลต้องเรียนรู้จากข้อมูลที่ไม่ได้สะท้อนอารมณ์เป้าหมายอย่างสม่ำเสมอ 42

FIRMED ให้ผู้ชมย้อนดูคลิปทันที

กระบวนการของ FIRMED มีสองขั้นตอนหลัก

1. ผู้เข้าร่วมชมวิดีโอทดลอง
2. ทันทีหลังจากนั้น วิดีโอจะถูกเปิดซ้ำ และผู้เข้าร่วมระบุช่วงที่จำได้ว่าเริ่มรู้สึกอารมณ์ที่เด่นชัด

ระหว่างการเปิดซ้ำ ผู้เข้าร่วมจะบอกเวลาเริ่มต้นของเหตุการณ์ ประเภทอารมณ์ และระดับความเข้มข้น ประเภทที่บันทึกไว้ ได้แก่ ความสุข ความเศร้า ความโกรธ ความกลัว ความรังเกียจ และความประหลาดใจ โดยแบ่งความเข้มข้นเป็นระดับต่ำ กลาง และสูง 9

การเปิดซ้ำทันทีมีเป้าหมายเพื่อรักษารายละเอียดด้านเวลาไว้ให้มากที่สุด และลดความคลาดเคลื่อนจากการรอให้เวลาผ่านไปนานก่อนจึงค่อยให้ผู้เข้าร่วมย้อนนึก แทนที่จะติดป้ายทุกวินาทีของคลิปว่าเป็น “ความกลัว” หรือ “ความสุข” วิธีนี้จะได้เหตุการณ์อารมณ์ที่มีเวลาอ้างอิงชัดเจน ซึ่งนำไปจับคู่กับสัญญาณสรีรวิทยาและพฤติกรรมที่บันทึกพร้อมกันได้ 5

เหตุผลที่เลือกหน้าต่าง 4 วินาที

FIRMED กำหนดเหตุการณ์แต่ละจุดให้อยู่ในช่วงเวลา 4 วินาที แบ่งเป็น 2 วินาทีก่อนและ 2 วินาทีหลังช่วงเวลาที่ผู้เข้าร่วมระบุ วิธีนี้ช่วยเก็บทั้งสัญญาณก่อนเกิดอารมณ์และการตอบสนองทางสรีรวิทยาที่ตามมา โดยไม่ดึงข้อมูลจากส่วนอื่นของวิดีโอเข้ามามากเกินไป

การเลือกความยาวหน้าต่างจึงเป็นการหาจุดสมดุล หากสั้นเกินไป อาจพลาดช่วงก่อตัวหรือการตอบสนองทันทีของร่างกาย แต่หากยาวเกินไป รูปแบบสัญญาณที่ควรสะท้อนเหตุการณ์นั้นอาจถูกเจือจางด้วยข้อมูลจากช่วงที่ไม่เกี่ยวข้อง

ผลการทดสอบแบบตัดปัจจัยบางส่วนออก หรือ ablation analysis ในงานวิจัยสนับสนุนข้อแลกเปลี่ยนนี้ หน้าต่างที่ยาวขึ้นทำให้ลักษณะเฉพาะของความประหลาดใจและความรังเกียจแยกจากอารมณ์อื่นได้ไม่ชัดเจนขึ้น อีกทั้งยังทำให้การลดลงของคลื่นอัลฟาที่เกี่ยวข้องกับความกลัวอ่อนลง และลดความโดดเด่นของกิจกรรมคลื่นแกมมาที่เกี่ยวข้องกับความสุข 42

ภาพรวมจึงชี้ว่า ระบบรู้จำอารมณ์อาจได้ประโยชน์จากการจับคู่ป้ายกับช่วงเหตุการณ์สั้น ๆ ที่สอดคล้องกัน มากกว่าการกระจายป้ายเดียวไปทั่วทั้งวิดีโอ

ตรวจสอบป้ายด้วยสัญญาณจากร่างกาย

ผู้วิจัยไม่ได้พึ่งพาความทรงจำส่วนตัวของผู้เข้าร่วมเพียงอย่างเดียว แต่ยังตรวจสอบว่าจุดพีคที่ผู้เข้าร่วมรายงานสอดคล้องกับการเปลี่ยนแปลงของสัญญาณสรีรวิทยาหรือไม่ โดยพิจารณาสัญญาณอย่าง EEG และการนำไฟฟ้าของผิวหนัง ซึ่งเป็นส่วนหนึ่งของการประเมินแนวทาง Immediate Recall 42

หลักฐานที่มีอยู่สนับสนุนข้อสรุปในภาพรวมว่า ป้ายที่ยึดจุดพีคสามารถนำไปเปรียบเทียบกับการตอบสนองทางสรีรวิทยาที่บันทึกในช่วงเวลาเดียวกันได้ อย่างไรก็ตาม ข้อมูลที่ตรวจสอบได้ในขณะนี้ยังไม่เพียงพอที่จะยืนยันตัวเลขบางรายการจากคำขอเดิม เช่น ค่า Cohen’s kappa ที่แน่นอน ความแม่นยำของการระบุเวลา หรือผลการตรวจทานโดยอิสระของข้อมูล 150 รายการ จึงควรตรวจสอบตารางผลการตรวจสอบฉบับเต็มของงานวิจัยก่อนนำตัวเลขเหล่านี้ไปอ้างเป็นข้อเท็จจริง

ประเด็นนี้สำคัญ เพราะการระบุเวลาได้ละเอียดไม่ได้หมายความว่าความทรงจำของผู้เข้าร่วมจะแม่นยำสมบูรณ์ การพบความสอดคล้องกับสัญญาณทางสรีรวิทยาช่วยเพิ่มน้ำหนักให้วิธีการ แต่ยังไม่พิสูจน์ว่าจุดเริ่มต้นทุกจุดถูกต้องตรงเวลา หรือผลลัพธ์จะใช้ได้เท่าเทียมกันกับคน อารมณ์ และบริบททุกแบบ

ป้ายที่ละเอียดขึ้นเปลี่ยนการฝึกโมเดลอย่างไร

เมื่อป้ายมีความแม่นยำด้านเวลา งานรู้จำอารมณ์ก็เปลี่ยนไปด้วย โมเดลที่ฝึกจากป้ายทั้งวิดีโอต้องเรียนรู้ผ่านช่วงที่เป็นกลางหรือมีอารมณ์ปะปน ขณะที่โมเดลที่ฝึกจากช่วงพีคจะได้รับความสัมพันธ์ระหว่างสัญญาณอินพุตกับอารมณ์เป้าหมายที่สม่ำเสมอกว่า

งาน FIRMED ประเมินแนวคิดนี้ด้วยการเปรียบเทียบป้ายแบบละเอียดกับการกำกับแบบหยาบ โดยข้อกล่าวอ้างหลักคือ การให้ข้อมูลกำกับที่แม่นยำกว่าอาจช่วยเพิ่มความสามารถในการรู้จำ แม้ช่วงเหตุการณ์ที่นำมาใช้จะมีข้อมูลรวมน้อยกว่าการใช้ทั้งคลิป 42

แต่ข้อมูลที่มีอยู่ยังไม่สามารถยืนยันตัวเลขการเปลี่ยนแปลงความแม่นยำจาก 34.7% เป็น 38.5% หรือผลเปรียบเทียบรายโมเดลระหว่างสถาปัตยกรรมแบบรีเคอร์เรนต์และแบบกราฟได้อย่างน่าเชื่อถือ จึงไม่ควรนำตัวเลขดังกล่าวมาเสนอเป็นผลที่ยืนยันแล้ว

บทเรียนเชิงวิธีวิทยายังคงชัดเจนว่า ความสามารถในการประมวลผลลำดับเวลาที่เพิ่มขึ้นจะมีประโยชน์ก็ต่อเมื่อป้ายฝึกระบุเหตุการณ์ที่มีความหมาย หากอินพุตเต็มไปด้วยช่วงเวลาที่ไม่เกี่ยวข้องกับอารมณ์เป้าหมาย โมเดลที่ซับซ้อนขึ้นก็อาจเรียนรู้สัญญาณรบกวนจากการกำกับ แทนที่จะเรียนรู้รูปแบบอารมณ์ที่นำไปใช้กับข้อมูลใหม่ได้

จากการจำแนกทั้งคลิปสู่การตรวจจับเหตุการณ์อารมณ์

แนวทางนี้อาจมีนัยต่อการวิจัยและการใช้งานหลายด้าน

• ปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์: ระบบอาจตอบสนองในจังหวะที่ผู้ใช้เริ่มหงุดหงิด ประหลาดใจ กลัว หรือพึงพอใจ แทนการกำหนดอารมณ์เดียวให้กับบทสนทนาหรือกิจกรรมทั้งหมด
• งานวิจัยด้านสุขภาพจิต: ข้อมูลที่มีเวลาอ้างอิงอาจช่วยแยกปฏิกิริยาชั่วคราวออกจากรูปแบบอารมณ์ที่ต่อเนื่อง และเชื่อมโยงการเปลี่ยนแปลงทางสรีรวิทยากับสิ่งกระตุ้นเฉพาะจุด
• การติดตามสุขภาพ: หน้าต่างข้อมูลหลายโมดัลที่สั้นและจัดแนวเวลาไว้แล้ว อาจช่วยศึกษาว่าการเปลี่ยนแปลงทางร่างกายเกิดขึ้นเมื่อใดและสัมพันธ์กับอะไร
• อุปกรณ์สวมใส่: ในอนาคต ระบบแจ้งเตือนอารมณ์อาจวิเคราะห์หน้าต่างสั้น ๆ เมื่อเกิดเหตุการณ์ แทนการรอให้กิจกรรมหรือการบันทึกทั้งช่วงสิ้นสุดลง

ทั้งหมดนี้เป็นนัยเชิงการวิจัย ไม่ใช่หลักฐานว่า FIRMED ได้พัฒนาระบบติดตามทางคลินิกหรือการแจ้งเตือนแบบเรียลไทม์บนอุปกรณ์สวมใส่สำเร็จแล้ว แนวทางดังกล่าวยังต้องตอบคำถามเรื่องขนาดชุดข้อมูล ความสามารถในการใช้กับบุคคลต่าง ๆ และความเหมาะสมของหน้าต่างคงที่ 4 วินาทีกับอารมณ์ทุกชนิด

บทสรุป

คุณูปการสำคัญของ FIRMED คือการเปลี่ยนมุมมองว่า “ป้ายอารมณ์ที่มีประโยชน์” ควรมีลักษณะอย่างไร แทนที่จะสมมติว่าวิดีโอมีอารมณ์เดียวตั้งแต่ต้นจนจบ วิธีนี้ถามว่า ผู้เข้าร่วมมีเหตุการณ์อารมณ์ที่สำคัญเกิดขึ้นเมื่อใด แล้วบันทึกช่วงเวลานั้นพร้อมประเภทและระดับความเข้มข้น 542

การเปลี่ยนจากป้ายทั้งคลิปมาเป็นป้ายที่ยึดจุดพีคทำให้ข้อมูลสอดคล้องกับธรรมชาติของอารมณ์ที่เกิดขึ้นเป็นช่วง ๆ มากขึ้น และอาจช่วยให้โมเดลหลายโมดัลได้รับสัญญาณกำกับที่สะอาดกว่าเดิม วิธีนี้ไม่ได้ขจัดข้อจำกัดของความทรงจำส่วนบุคคลหรือการตีความสัญญาณทางสรีรวิทยา แต่เป็นแนวทางที่ตรงจุดกว่าในการเชื่อมโยงรายงานจากมนุษย์ การตอบสนองของร่างกาย และการคาดการณ์ของแมชชีนเลิร์นนิง