腦機介面把「說話＋手勢」一起解碼：癱瘓者可同步操控會說話、會動作的虛擬分身

對失去說話與肢體活動能力的人而言，溝通不只是在螢幕上逐字拼出一句話。點頭、揮手、比讚、姿勢與說話時機，同樣承載同意、強調、問候與情緒。加州大學舊金山分校（UCSF）神經外科醫師 Edward Chang 領導的團隊，最新展示一種腦機介面（BCI）：只靠一枚腦皮質植入物，就能把使用者「想說的話」和「想做的上半身手勢」同步轉成虛擬分身的語音與動作。25

這項成果是重要的技術概念驗證，但仍不是可供一般病患長期日常使用的成熟醫療系統。27

253 個電極如何讀取「想說」與「想動」？

研究納入 3 名聲道與肢體嚴重癱瘓的參與者，病因包括肌萎縮性脊髓側索硬化症（ALS）及腦幹中風。研究人員將含有 253 個電極的高密度皮質腦電圖陣列（electrocorticography，ECoG）放置在大腦感覺運動皮質表面；這個區域與說話相關的口臉動作及身體動作控制有關。25

參與者依指令嘗試說出短語、做出揮手或比讚等上半身手勢，也會嘗試同時說話與動作。系統記錄這些「嘗試」所對應的腦部活動，再以機器學習模型將訊號對應到語音和手勢輸出；使用者不需要真的發出聲音或移動肢體。25

關鍵發現：同步溝通有自己的神經模式

語音與上半身動作在皮質上可呈現可區分、但彼此協調的活動模式。更重要的是，當參與者同時嘗試說話與比手勢時，腦部訊號不是「單獨說話」加上「單獨動作」的簡單總和；同步溝通帶有獨特的神經表徵。25

這也解釋了為何模型不能把聲音和動作當成兩條完全互不相干的管道。研究團隊發現，使用「語音與手勢同時進行」的訓練資料建立的解碼器，在辨識同步行為時優於只用單獨語音或單獨動作資料訓練的解碼器。25

虛擬分身能一邊開口、一邊動作

在 2 名參與者的即時測試中，系統平行解碼語音和手勢，控制全身虛擬分身同步產生合成語音與上半身動作。也就是說，虛擬分身可望不只是「代替打字發聲」，而是能在說話時配合手勢表達。2

這種形式有潛力補足眼動文字輸入系統的限制。眼動系統通常要使用者逐一注視字母、選單或選項，操作可能緩慢且耗費心力；但真實對話還依賴指向、肯定、問候、重音、姿態與輪流發言等非語言線索。若能連同語音還原這些訊號，溝通可能更接近自然互動。37

不過，目前證據證明的是技術可行性，尚未證實它已能在長期、日常情境中帶來較佳生活品質，或必然比既有輔具更快、更省力。37

不只是「把字說出來」：可能重建非語言表達

這項工作指出，未來的溝通神經義肢或許能協助無法說話與行動的人，傳達文字以外的意圖，例如：

• 點頭或比讚所代表的同意與肯定
• 揮手等問候動作
• 用姿勢與時機加強語氣
• 帶有情感的肢體表達
• 對話中的回應與輪替訊號

其更廣泛的意義是：一個皮質介面或可同時解碼多種彼此協調的溝通模式。25

下一步：從有線研究設備走向全植入式無線系統

這次展示仍採有線研究配置。團隊規劃開發全植入式無線系統，目標是移除外接纜線，讓長期、日常使用更具可行性，並持續擴展多模態解碼能力。7

這條研究路線建立在團隊 2023 年發表於《Nature》的成果上：一名因腦幹中風而嚴重癱瘓的參與者，曾利用腦皮質訊號產生文字、合成語音與具表情的臉部虛擬分身。13

從「把意圖轉成文字」到讓虛擬分身能同步說話與動作，方向很清楚：讓輔助溝通不只恢復字句，也盡可能找回人與人交談原有的節奏與表情。