UCSF พัฒนา BCI อ่านสัญญาณพูดและท่าทางพร้อมกัน ให้ “อวตาร” สื่อสารแทนผู้ป่วยอัมพาต

การสื่อสารของคนเราไม่ได้มีแค่คำพูด แต่ยังมีการพยักหน้า ยักไหล่ ชี้ หรือใช้ท่าทางเพื่อเน้นความหมาย นักวิจัยจากมหาวิทยาลัยแคลิฟอร์เนีย ซานฟรานซิสโก (UCSF) สาธิตส่วนเชื่อมต่อสมองกับคอมพิวเตอร์ หรือ BCI ที่พยายามคืนทั้งสองช่องทางนี้พร้อมกัน

ในการศึกษาผู้มีอัมพาตรุนแรงของทางเดินเสียงและแขนขา 3 คน อุปกรณ์ฝังชิ้นเดียวบันทึกสัญญาณสมองขณะที่ผู้เข้าร่วมพยายามพูดและทำท่าทางร่างกายส่วนบน จากนั้น AI แปลงสัญญาณให้เป็นข้อความและการเคลื่อนไหวของอวตารที่ออกแบบเฉพาะบุคคลได้แบบเกือบเรียลไทม์ 17

อิเล็กโทรด 253 จุดอ่านอะไรจากสมอง

ระบบนี้ใช้อาร์เรย์อิเล็กโทรดแบบความหนาแน่นสูง 253 จุดชนิด ECoG (electrocorticography) วางอยู่บนผิวสมองบริเวณเซนเซอริโมเตอร์คอร์เทกซ์ ซึ่งเกี่ยวข้องทั้งกับการควบคุมการเคลื่อนไหวเพื่อพูดและการเคลื่อนไหวของร่างกายส่วนบน 17

แม้ผู้เข้าร่วมจะไม่สามารถพูดหรือเคลื่อนไหวได้ตามปกติ แต่พวกเขายังพยายามทำสิ่งเหล่านั้น และความพยายามดังกล่าวทิ้งรูปแบบสัญญาณประสาทไว้ โมเดลแมชชีนเลิร์นนิงนำสัญญาณนี้ไปถอดรหัสเป็นข้อความและคำสั่งเคลื่อนไหวของอวตาร จึงทำให้ “การพูด” กับ “การแสดงท่าทาง” เกิดขึ้นพร้อมกัน แทนที่จะต้องเลือกควบคุมทีละโหมด 14

สัญญาณที่ตรวจพบเชื่อมโยงกับการเคลื่อนไหวหลายประเภท ตั้งแต่การขยับปากและใบหน้าที่เกี่ยวกับการพูด ไปจนถึงท่าทางส่วนบน เช่น พยักหน้า ยักไหล่ และกำหมัดชูขึ้น สำหรับผู้เข้าร่วม 2 คน ทีมวิจัยใช้การถอดรหัสคำพูดและท่าทางแบบขนานเพื่อควบคุมอวตาร 7

เหตุใดจึงต้องมีตัวถอดรหัสแยกตามงาน

คำพูดและท่าทางเกี่ยวพันกันก็จริง แต่ไม่ได้เป็นคำสั่งการเคลื่อนไหวแบบเดียวกันทั้งหมด นักวิจัยจึงใช้วิธีถอดรหัสที่ออกแบบเฉพาะสำหรับผลลัพธ์ทางวาจาและผลลัพธ์ด้านการเคลื่อนไหว

ประเด็นสำคัญคือ สัญญาณสมองเมื่อผู้เข้าร่วมพยายามพูดและทำท่าทางพร้อมกัน ไม่ได้เป็นเพียงผลรวมตรง ๆ ของสัญญาณจากการทำแต่ละงานแยกกัน การฝึกระบบด้วยงานสื่อสารแบบผสมจึงช่วยให้สร้างผลลัพธ์ที่ประสานกันได้ เช่น อวตารพูดประโยคที่ตั้งใจสื่อสารพร้อมแสดงท่าทางประกอบ อย่างไรก็ดี ข้อมูลที่มีอยู่ยังไม่เพียงพอให้ประเมินขนาดของความแตกต่างนี้ หรือเปรียบเทียบประสิทธิภาพตัวถอดรหัสในทุกงานได้อย่างอิสระ 147

เหนือกว่าการสื่อสารด้วยข้อความอย่างไร

ระบบช่วยสื่อสารจำนวนมากใช้การเลือกตัวอักษร คำ หรือไอคอนทีละรายการ ซึ่งมีประโยชน์มาก แต่การสนทนาอาจช้าและใช้แรงมาก งาน BCI ด้านคำพูดของ UCSF ก่อนหน้านี้สะท้อนช่องว่างนี้ โดยอุปกรณ์สื่อสารเดิมของผู้เข้าร่วมรายหนึ่งทำได้ราว 14 คำต่อนาที ขณะที่ระบบทดลองถอดรหัสข้อความได้เกือบ 80 คำต่อนาที 28

ระบบใหม่นี้ยังมุ่งแก้ข้อจำกัดอีกด้านหนึ่ง คือข้อความล้วนไม่อาจถ่ายทอดความหมายทางสังคมทั้งหมดในการสนทนาได้ ท่าทางอาจสื่อการเห็นด้วย การเน้นย้ำ การทักทาย หรือทิศทางไปพร้อมกับคำพูด อวตารที่พูดและเคลื่อนไหวจึงมีเป้าหมายเพื่อให้การสื่อสารมีความแสดงออกมากขึ้น ไม่ใช่แค่ทำให้ข้อความปรากฏบนจอ 134

ผู้เข้าร่วมคือใคร และการศึกษาบอกอะไรได้บ้าง

ทีมวิจัยบันทึกสัญญาณประสาทจากผู้เข้าร่วม 3 คนที่มีอัมพาตของทางเดินเสียงและแขนขา โดยทดสอบการพยายามพูด การเคลื่อนไหวร่างกายส่วนบน และในผู้เข้าร่วม 2 คน ทดสอบการถอดรหัสคำพูดกับท่าทางไปพร้อมกัน 7

แหล่งข้อมูลที่ให้มายังไม่มีรายละเอียดทางคลินิกที่น่าเชื่อถือพอจะระบุสาเหตุของอัมพาตเป็นรายบุคคล หรืออธิบายขั้นตอนการทดสอบทั้งหมด แม้รายงานที่กล่าวถึงกลุ่มผู้ป่วยในวงกว้างจะยกตัวอย่างภาวะอย่างโรคหลอดเลือดสมองและโรค ALS แต่ไม่ควรนำไปวินิจฉัยหรือระบุโรคของผู้เข้าร่วมคนใดคนหนึ่ง 36

ยังเป็นต้นแบบวิจัย ไม่ใช่อุปกรณ์ใช้ในชีวิตประจำวัน

BCI นี้ยังอยู่ในระยะวิจัย ระบบที่สาธิตต้องใช้สายเชื่อมแผงอิเล็กโทรดบนสมองเข้ากับอุปกรณ์บันทึกและประมวลผลภายนอก จึงยังจำกัดการใช้งานอย่างอิสระในชีวิตประจำวัน

เป้าหมายการพัฒนาที่ระบุไว้คือเวอร์ชันไร้สายที่ฝังอยู่ในร่างกายทั้งหมด เพื่อตัดสายที่เชื่อมผ่านผิวหนังออกไป แต่หลักฐานที่มีไม่ได้ระบุกรอบเวลา ผู้ผลิต หรือสถานะการอนุมัติจากหน่วยงานกำกับดูแล ดังนั้นยังเร็วเกินไปที่จะมองว่าเป็นผลิตภัณฑ์การแพทย์ที่พร้อมใช้งาน

ต่อยอดจากอวตารพูดและสีหน้าในปี 2023

งานใหม่นี้สืบต่อจากงานนำโดย UCSF ที่ตีพิมพ์ในวารสาร Nature ปี 2023 ซึ่งให้ผู้เข้าร่วมที่มีอัมพาตรุนแรงและภาวะพูดไม่ได้ ใช้อาร์เรย์ ECoG ความหนาแน่นสูง 253 ช่อง เพื่อถอดรหัสประโยคที่ตั้งใจพูดเป็นข้อความ เสียงสังเคราะห์ และแอนิเมชันใบหน้าของอวตาร 33

ระบบเดิมเน้นคำพูดและผลลัพธ์บนใบหน้า ส่วนงานใหม่นำแนวทางเดียวกัน คือการบันทึกจากผิวสมองและการถอดรหัสด้วย AI มาขยายสู่การสื่อสารด้วยท่าทางร่างกายส่วนบนพร้อมคำพูด นี่เป็นก้าวสำคัญสู่ระบบประสาทเทียมที่อาจช่วยคืนทั้งองค์ประกอบทางวาจาและอวัจนภาษาของบทสนทนา แต่ยังต้องมีการวิจัยอีกมากก่อนจะใช้เป็นการรักษาตามปกติได้ 12434