ชิปสมองเดียวให้ผู้ป่วยอัมพาตสื่อสารด้วยเสียงและท่าทางพร้อมกัน

การสนทนาไม่ได้มีแค่คำพูด การพยักหน้า โบกมือ ชูนิ้วโป้ง หรือจังหวะของท่าทาง ล้วนช่วยบอกความหมายได้ งานของทีมนำโดยศัลยแพทย์ระบบประสาท Edward Chang แห่งมหาวิทยาลัยแคลิฟอร์เนีย ซานฟรานซิสโก (UCSF) แสดงให้เห็นว่า อุปกรณ์ฝังบนผิวสมองเพียงชิ้นเดียวอาจแปลง “ความตั้งใจ” ที่จะพูดและขยับร่างกายส่วนบนออกมาเป็นเสียงและท่าทางของอวตารเสมือนได้พร้อมกัน อย่างไรก็ดี นี่ยังเป็นการพิสูจน์แนวคิด ไม่ใช่ระบบที่พร้อมใช้รักษาทางคลินิกในชีวิตประจำวัน 37

การทดลองทำงานอย่างไร

นักวิจัยฝังอาร์เรย์ตรวจคลื่นไฟฟ้าสมองชนิด ECoG (electrocorticography) ซึ่งมีอิเล็กโทรด 253 จุด ไว้บนบริเวณเซนเซอร์ริมอเตอร์คอร์เทกซ์ของผู้เข้าร่วม 3 คนที่มีอัมพาตรุนแรงของระบบพูดและแขนขา รวมถึงผู้ที่มีโรค ALS และผู้ที่อัมพาตจากโรคหลอดเลือดสมองบริเวณก้านสมอง

ระหว่างการทดสอบ ผู้เข้าร่วมพยายามพูดวลีต่าง ๆ พยายามทำท่าทาง เช่น โบกมือหรือชูนิ้วโป้ง หรือพยายามทำทั้งสองอย่างพร้อมกัน ระบบบันทึกสัญญาณจากสมอง แล้วใช้โมเดลแมชชีนเลิร์นนิงเรียนรู้ความเชื่อมโยงระหว่างสัญญาณเหล่านั้นกับคำพูดและท่าทางที่ตั้งใจทำ 37

สัญญาณตอนพูดพร้อมทำท่า ไม่ใช่แค่ผลบวกของสองกิจกรรม

ผลสำคัญคือ สมองสร้างรูปแบบกิจกรรมที่แยกแยะได้สำหรับคำพูดและท่าทางร่างกายส่วนบน แต่รูปแบบทั้งสองก็ทำงานประสานกัน เมื่อผู้เข้าร่วมพยายามพูดและทำท่าพร้อมกัน สัญญาณประสาทที่ตรวจพบไม่ได้เป็นเพียงการนำสัญญาณจากการพูดอย่างเดียวมาบวกกับสัญญาณจากการขยับอย่างเดียว หากเป็นรูปแบบเฉพาะของการสื่อสารแบบทำควบคู่กัน

นั่นหมายความว่า ระบบไม่ควรมองเสียงกับการเคลื่อนไหวเป็นคนละช่องทางที่เป็นอิสระต่อกันทั้งหมด แต่ต้องเรียนรู้ “พฤติกรรมร่วม” ของทั้งสองช่องทางด้วย 37

เหตุใดการฝึกจากข้อมูลที่เกิดพร้อมกันจึงสำคัญ

ตัวถอดรหัสที่ได้รับการฝึกจากตัวอย่างซึ่งผู้เข้าร่วมพยายามพูดและทำท่าทางในเวลาเดียวกัน ถอดรหัสกิจกรรมที่เกิดพร้อมกันได้ดีกว่าโมเดลที่ฝึกจากงานพูดเดี่ยว ๆ หรือขยับเดี่ยว ๆ เท่านั้น

ในผู้เข้าร่วม 2 คน ระบบเรียลไทม์สามารถควบคุมอวตารเต็มตัว ให้เสียงสังเคราะห์และการเคลื่อนไหวร่างกายส่วนบนเกิดขึ้นพร้อมกันได้ เช่น กล่าวคำทักทายไปพร้อมกับโบกมือ 37

ทำไมแนวทางนี้อาจเป็นธรรมชาติกว่าการสะกดด้วยการมอง

อุปกรณ์สื่อสารด้วยการติดตามสายตาหรือ eye tracking มักให้ผู้ใช้เลือกตัวอักษรหรือเมนูทีละรายการ จึงอาจช้าและเหนื่อยล้าได้ การพูดคุยตามธรรมชาติกลับอาศัยมากกว่าข้อความ ไม่ว่าจะเป็นการเน้นน้ำเสียง จังหวะการตอบ การชี้ การยืนยัน การทักทาย ท่าทาง และภาษากายเชิงอารมณ์

หากเทคโนโลยีช่วยคืนทั้งเสียงและสัญญาณเหล่านี้ได้ การสื่อสารอาจรวดเร็ว ใช้แรงน้อยลง และมีมิติทางสังคมมากขึ้น แต่หลักฐานในตอนนี้ยืนยันเพียงความเป็นไปได้เชิงเทคนิค ยังไม่ได้พิสูจน์ว่าช่วยยกระดับคุณภาพชีวิตในการใช้งานจริงระยะยาวได้อย่างแน่ชัด 37

ความหมายต่อการสื่อสารที่มากกว่าคำพูด

งานนี้ชี้ว่าอุปกรณ์ประสาทเทียมเพื่อการสื่อสารอาจช่วยถ่ายทอดเจตนาที่ไม่ใช่คำพูดได้ในอนาคต เช่น การเห็นด้วย การเน้นย้ำ การทักทาย ภาษากายที่สื่ออารมณ์ และการส่งสัญญาณผลัดกันพูด สำหรับผู้ที่ไม่สามารถเคลื่อนไหวหรือเปล่งเสียงได้

อีกนัยหนึ่ง ผลการศึกษาสนับสนุนแนวคิดว่า อินเทอร์เฟซบนสมองเพียงชุดเดียวอาจถอดรหัสรูปแบบการสื่อสารหลายด้านที่ประสานกันได้ ไม่ได้จำกัดอยู่แค่ข้อความหรือเสียงพูด 37

ก้าวต่อไป: จากระบบใช้สายสู่การฝังในร่างกายแบบไร้สาย

การสาธิตครั้งนี้ยังต้องใช้การเชื่อมต่อด้วยสาย ทีมวิจัยมีแผนพัฒนาระบบที่ฝังในร่างกายได้ทั้งหมดและเชื่อมต่อแบบไร้สาย เพื่อให้เหมาะกับการใช้งานต่อเนื่องในชีวิตประจำวันมากขึ้น โดยไม่ต้องมีสายภายนอก พร้อมต่อยอดการถอดรหัสการสื่อสารหลายรูปแบบ

แนวทางดังกล่าวต่อเนื่องจากผลงานในวารสาร Nature ปี 2023 ของทีม ซึ่งผู้เข้าร่วมที่เป็นอัมพาตจากโรคหลอดเลือดสมองบริเวณก้านสมองใช้สัญญาณจากสมองสร้างข้อความ เสียงสังเคราะห์ และอวตารใบหน้าที่มีสีหน้าได้ 14