一塊腦部植入裝置，讓虛擬化身同步說話與做手勢

呢項研究嘅重點，唔只係令電腦「讀到字」，而係嘗試還原人同人溝通本身嘅節奏：一邊講「你好」，一邊揮手；講同意時點頭或豎起拇指。加州大學三藩市分校（UCSF）神經外科醫生 Edward Chang 帶領嘅團隊示範，一個高密度腦皮層植入裝置，可以同時把使用者想講嘅說話同上肢動作意圖，轉成虛擬化身嘅語音及手勢。呢個係重要嘅概念驗證，未係可以即時廣泛臨床使用嘅產品。37

點樣由腦訊號變成聲音同動作？

研究有三名因嚴重癱瘓而失去發聲及肢體活動能力嘅參與者，包括患有肌萎縮性側索硬化症（ALS，俗稱漸凍症）及腦幹中風嘅人士。研究人員將一塊有 253 個電極 嘅皮質腦電圖（ECoG）陣列，放喺大腦感覺運動皮層表面；呢個腦區同說話所需口面部動作，以及身體活動有關。37

參與者會嘗試講指定短句、做揮手與豎起拇指等動作，或者同時做兩樣。電極記錄腦部活動後，機器學習模型會將訊號對應到語音輸出及手勢輸出。重點係系統解讀嘅係「嘗試去做」嘅神經指令，唔係靠參與者真正郁到手腳或發到聲。37

「講嘢加手勢」原來有自己一套腦部模式

研究人員發現，說話同上肢手勢喺腦內有可區分、但互相協調嘅活動模式。更重要嘅係，當參與者同時嘗試說話與做手勢，所出現嘅神經表徵，並唔係「只講嘢」訊號加上「只做動作」訊號咁簡單；同步溝通有其獨特活動特徵。37

因此，模型唔可以將語音同動作當成完全互不相干嘅兩條線。研究顯示，用「說話與手勢同步進行」嘅例子訓練過嘅解碼器，比起只學過單獨說話或單獨動作嘅解碼器，更能準確解讀同步意圖。37

兩名參與者控制虛擬化身同步表達

喺兩名參與者嘅即時示範中，系統會控制一個全身虛擬化身：化身可以一邊輸出合成語音，一邊做上肢動作。呢種「聲音配合肢體語言」嘅輸出，正正係日常對話入面好常見、但文字溝通較難承載嘅部分。37

傳統眼動追蹤文字溝通系統，通常要求使用者逐個揀字母或者功能選項，過程可以好慢，亦容易令人攰。相反，日常交流往往靠語氣、時機、指向動作、姿勢、打招呼、肯定訊號等一齊傳達意思。若果日後技術成熟，將呢啲非語言元素同語音一齊還原，理論上可令交流更順暢、更有互動感。不過，現階段證據只證明技術可行，未證實長期日常使用一定能改善生活質素。37

不止「講到嘢」：或可重建非語言溝通

研究指出，未來嘅溝通神經義肢或有機會協助無法說話或活動嘅人士，表達文字以外嘅溝通意圖，例如：

• 表示同意或加強語氣；
• 揮手打招呼；
• 用身體語言傳達情緒；
• 配合對話輪替同互動節奏。

同時，研究亦支持一個較廣泛嘅方向：單一皮層介面有可能解碼多種互相配合嘅溝通模式，而唔係只處理語音或者動作其中一樣。37

下一步：由有線研究裝置走向全植入無線系統

今次示範仍然係有線研究設置。團隊計劃研發全植入式無線系統，希望移除接駁外部電腦嘅纜線，令長期、日常使用更實際，同時延伸多模態解碼能力。14

呢項工作亦建基於團隊 2023 年喺《Nature》發表嘅成果：一名因腦幹中風而癱瘓嘅參與者，曾利用皮層訊號產生文字、合成語音，以及帶有面部表情嘅虛擬化身。14