BCI ของ UCSF ถอดรหัสคำพูดและท่าทางพร้อมกัน ให้ผู้มีอัมพาตสื่อสารผ่านอวตาร

ระบบนี้มุ่งคืน “การสื่อสารทั้งชุด” ไม่ใช่แค่แปลงความคิดเป็นข้อความ นักวิจัยจากมหาวิทยาลัยแคลิฟอร์เนีย ซานฟรานซิสโก (UCSF) วางแผงอิเล็กโทรดแบบอิเล็กโทรคอร์ติโคกราฟี (ECoG) ความหนาแน่นสูง 253 จุดบนผิวสมองส่วนเซนเซอร์ริโมเตอร์ ซึ่งเกี่ยวข้องกับการวางแผนการพูดและการเคลื่อนไหว จากนั้นบันทึกสัญญาณสมองขณะที่ผู้เข้าร่วมที่มีอัมพาตรุนแรงพยายามพูดและทำท่าทางด้วยร่างกายส่วนบน 23

AI แปลสัญญาณดังกล่าวภายในไม่กี่วินาทีเป็นคำพูดหรือข้อความ พร้อมสั่งให้อวตารดิจิทัลเฉพาะบุคคลแสดงท่าทางไปพร้อมกัน เช่น โบกมือขณะกล่าวทักทาย หรือพยักหน้าเพื่อแสดงความเห็นด้วย 23

BCI ถอดรหัสสองช่องทางอย่างไร

แม้ผู้เข้าร่วมจะขยับกล้ามเนื้อหรือเปล่งเสียงไม่ได้ตามปกติ สมองยังคงสร้างรูปแบบกิจกรรมที่สัมพันธ์กับความพยายามขยับอวัยวะในช่องเสียง และความพยายามเคลื่อนไหวร่างกายส่วนบน ระบบฝังสมองจึงเก็บสัญญาณเหล่านี้เพื่อนำไปถอดรหัส 23

จุดสำคัญคือ ทีมวิจัยไม่ได้ใช้โมเดลเดียวจัดการทุกอย่าง แต่ฝึก ตัวถอดรหัสด้วยแมชชีนเลิร์นนิงแยกตามภารกิจ ได้แก่

• ตัวถอดรหัสหนึ่งชุด จับคู่กิจกรรมสมองกับคำพูดที่ผู้ใช้ตั้งใจจะพูด
• อีกชุด จับคู่กิจกรรมสมองกับคำสั่งหรือจลนศาสตร์ของท่าทาง เพื่อขับเคลื่อนอวตาร 23

ผลทางประสาทวิทยาที่สำคัญคือ กิจกรรมสมองเมื่อผู้ใช้พยายามพูดพร้อมทำท่าทาง ไม่ได้เป็นเพียงผลรวมตรง ๆ ของกิจกรรมขณะพูดอย่างเดียวกับขณะทำท่าทางอย่างเดียว ข้อนี้สนับสนุนการฝึกระบบด้วยงานสื่อสารที่เกิดขึ้นพร้อมกันและใกล้ธรรมชาติ ทำให้เสียงกับท่าทางของอวตารถูกประสานกัน แทนที่จะเป็นสองฟังก์ชันที่นำมาต่อแยกภายหลัง 23

อย่างไรก็ดี ข้อมูลที่ให้มายังไม่เพียงพอจะระบุตัวเลขระดับความไม่เป็นผลรวมดังกล่าว หรือประสิทธิภาพของตัวถอดรหัสในเชิงปริมาณ 23

ทำไมท่าทางจึงสำคัญพอ ๆ กับคำพูด

ระบบแปลงข้อความเป็นเสียงที่ควบคุมด้วยการติดตามดวงตาอาจต้องให้ผู้ใช้เลือกตัวอักษรหรือไอคอนทีละรายการ จึงช้าและใช้แรงมาก อีกทั้งสื่อสารได้เป็นคำ แต่ยังขาดความหมายส่วนหนึ่งที่มาจากท่าทางแขน ท่าทางร่างกาย การชี้ หรือการเน้นน้ำเสียง 2

แนวทางของ UCSF จึงพยายามส่งทั้งช่องทางคำพูดและช่องทางอวัจนภาษาในเวลาเดียวกัน อวตารที่พูดและแสดงท่าทางได้อาจช่วยถ่ายทอดเจตนาในการสนทนาได้เป็นธรรมชาติมากขึ้น เช่น การย้ำประเด็น การเห็นด้วย หรือการชี้บอกสิ่งหนึ่งสิ่งใด 23

ผู้เข้าร่วมและข้อจำกัดในปัจจุบัน

การศึกษานี้มีผู้เข้าร่วม 3 คนที่มีอัมพาตทั้งส่วนที่เกี่ยวกับการออกเสียงและแขนขา 2 หลักฐานที่มีไม่ได้ระบุการวินิจฉัยหรือสาเหตุอัมพาตของแต่ละคน และไม่ให้รายละเอียดรายการภารกิจทดลองทั้งหมด ยืนยันได้เพียงว่าผู้เข้าร่วมพยายามพูดและทำท่าทางร่างกายส่วนบน ขณะที่ระบบถอดรหัสทั้งสองอย่าง 3

ระบบที่สาธิตในเวลานี้ยังเป็นแบบมีสาย โดยแผงอิเล็กโทรดบนสมองต้องเชื่อมต่อทางกายภาพกับอุปกรณ์บันทึกสัญญาณและประมวลผลภายนอก จึงยังจำกัดการใช้งานอิสระในชีวิตประจำวัน เป้าหมายการพัฒนาถัดไปคือระบบไร้สายที่ฝังอยู่ในร่างกายทั้งหมด เพื่อตัดสายที่ผ่านผิวหนังออกและรองรับการใช้งานต่อเนื่องได้จริงยิ่งขึ้น แต่แหล่งข้อมูลนี้ยังไม่ระบุกรอบเวลา ผู้ผลิตอุปกรณ์ หรือสถานะการอนุมัติจากหน่วยงานกำกับดูแล 23

ต่อยอดจากงานถอดรหัสคำพูดปี 2023

งานใหม่นี้ต่อยอดจากผลงานของทีมเอ็ดเวิร์ด ชาง ในปี 2023 ซึ่งใช้แผง ECoG 253 ช่องบนสมองส่วนเซนเซอร์ริโมเตอร์ในผู้มีอัมพาตรุนแรงและภาวะพูดไม่ได้ (anarthria) เพื่อถอดรหัสประโยคที่ตั้งใจพูดและควบคุมอวตาร 1

หากงานปี 2023 เน้นผลลัพธ์ด้านคำพูดและแอนิเมชันใบหน้าของอวตาร งานใหม่นี้ขยายแนวคิดการบันทึกสัญญาณสมองความหนาแน่นสูงและการถอดรหัสด้วย AI ไปสู่การสื่อสารผ่านท่าทางร่างกายส่วนบนพร้อมกับคำพูด 12