一枚腦植入物同步解碼說話與手勢：UCSF 如何讓癱瘓者以虛擬化身溝通

對於因嚴重癱瘓而無法說話或活動的人來說，溝通不只有「打出文字」而已；點頭、揮手、指向與語氣強調，同樣承載意思。加州大學舊金山分校（UCSF）團隊的做法，是將一片含 253 個電極的高密度皮質腦電圖（ECoG）陣列，放置在大腦表面的感覺運動皮質——這是參與規劃說話與動作的重要腦區。

當參與者嘗試說話、同時做出上半身手勢時，植入物會記錄相關神經活動；機器學習系統再於數秒內將訊號轉換成螢幕文字、語音，以及個人化虛擬化身的同步動作。23

關鍵不在一個通用模型，而是兩套任務專屬解碼器

即使身體無法完成動作，嘗試控制發聲器官或上半身的腦部活動仍可被量測。研究團隊沒有假定同一種神經表徵能直接處理所有溝通內容，而是訓練分工明確的解碼器：

• 一套解碼器將神經活動對應為預期說出的語音內容；
• 另一套則把訊號轉為虛擬化身的手勢指令或動作學資訊。23

這種安排使化身能在「說話」的同時做出相應動作，例如一邊問候一邊揮手，或用點頭表達同意。3

為何要直接訓練「說話加手勢」？

研究的一項重要神經科學結果是：人在同時說話與做手勢時的腦活動，並不是「只說話」的活動加上「只做手勢」的活動而已。換言之，多模態溝通在大腦中具有自身的訊號特徵。

因此，系統必須從結合語言與動作的自然溝通任務中學習，才能讓虛擬化身的聲音和動作協調呈現，而不是把兩種輸出各自拼接。現有資料支持這項同步多模態解碼成果，但未提供足以量化這種非加性特徵程度或各解碼器效能的細節。23

對溝通輔具的意義

眼動輸入文字轉語音系統通常需要逐一選取字母或圖示，速度可能較慢、使用負擔也較高。更重要的是，文字能傳達詞句，卻不一定能完整表現姿勢、手臂動作和強調語氣所帶來的社交訊息。

這項研究的目標，是同時恢復語言與非語言兩個溝通管道。若能讓使用者的虛擬化身同步說話、點頭、指示或揮手，互動有望更接近日常對話的表達方式。2

不過，這仍是研究性展示，尚非已可廣泛取得的臨床溝通裝置。23

參與者、限制與下一步

研究涵蓋 3 名同時有發聲器官與肢體癱瘓的人士。2 現有資料僅能確認他們在實驗中嘗試說話及做上半身手勢，並由系統同步解碼；並未提供每名參與者的個別病因、診斷或完整任務清單。3

目前系統仍須以實體線纜連接皮質電極陣列與外部記錄、運算設備，限制了日常獨立使用。團隊提出的發展方向是完全植入式無線系統，以移除穿過皮膚的連接線，朝更實際的持續使用邁進；但現有資料未說明時程、製造商或監管核准狀態。23

與 UCSF 2023 年語音神經義肢研究的關係

這項成果延續 Chang 團隊 2023 年發表於《Nature》的語音神經義肢工作。當時，研究人員在一名患有嚴重癱瘓及失語構音能力障礙的參與者身上，使用 253 通道感覺運動皮質陣列解碼其預期句子，並支援虛擬化身輸出。1

2023 年系統重點在語音輸出與臉部化身動畫；最新研究則將相同類型的高密度皮質記錄與人工智慧解碼方法，擴展至同步呈現上半身手勢，讓溝通不再只剩下「說了什麼」，也包含「怎麼表達」。12