UCSF 腦機介面可同步解碼說話同手勢

加州大學三藩市分校（UCSF）研究人員在 3 名同時有聲道及肢體癱瘓的人士腦部感覺運動皮質表面，植入一塊有 253 個電極的高密度皮質腦電圖（ECoG）陣列。感覺運動皮質參與規劃說話和身體動作；當參與者嘗試開口說話、做上肢手勢時，陣列便記錄相關腦訊號。之後，機器學習系統可在數秒內把訊號轉為文字、語音，以及個人化虛擬化身的同步動作。23

關鍵不只係「讀到腦訊號」，而係同時處理兩種溝通方式

研究團隊沒有以一個通用模型硬做所有工作，而是訓練了兩個按任務分工的解碼器：

• 語音解碼器：把與嘗試控制聲道和發音器官有關的腦活動，對應為想講的說話內容；
• 手勢解碼器：把與嘗試做上肢動作有關的訊號，轉成虛擬化身的手勢指令或動作學資訊。

因此，化身可以做到例如一邊講「你好」、一邊揮手，或者說話時點頭表示同意，而不是先輸出一句說話、再另外加上一個動作。23

更重要的是，研究人員發現：參與者同時說話及做手勢時的神經活動，並不等於「單獨說話時的活動」加上「單獨做手勢時的活動」。換言之，大腦處理自然溝通時，兩者本身有互相協調的訊號模式。這亦解釋了為何系統要用結合說話和手勢的訓練任務，而非把兩套獨立結果簡單拼湊起來。23

現有資料支持系統可同步進行多模態解碼，但未有足夠細節量化這種非簡單相加的程度，或列出各解碼器的完整效能數字。23

點解手勢都重要？

對失去說話能力的人而言，眼動文字輸入配合語音輸出雖然可以溝通，但通常要逐個字母或圖示選取，速度較慢、亦較費力；而且文字和聲音未必能傳達姿勢、指向、語氣強調及認同等非語言訊息。2

這套腦機介面嘗試補回兩條溝通渠道：一條是語言，另一條是上半身動作。目標不是單純令系統「講到字」，而是讓使用者的溝通意圖可以更完整地呈現出來。23

參與者與現階段限制

研究涉及 3 名有聲道及肢體癱瘓的參與者；可確認的是，他們在實驗中嘗試說話和做上肢手勢，系統則同步解碼兩者。23

不過，提供的資料沒有交代每位參與者的個別診斷、癱瘓成因或完整實驗任務清單，因此不能把特定病因歸於任何一位參與者。相關報道提及這類人群可包括中風或肌萎縮性脊髓側索硬化症（ALS）患者，但不足以作逐人對照。

系統現時仍以導線連接植入的皮質電極陣列與外部錄音、運算硬件，限制了日常獨立使用。研究方向是開發全植入式無線系統，減少穿過皮膚的連接線，令長時間實用化較有機會實現；但現有資料未有提供推出時間表、設備製造商或監管審批狀態。

與 UCSF 2023 年語音神經義肢研究有何關係？

今次工作可視為 UCSF Chang 團隊 2023 年研究的延伸。當年的系統同樣使用 253 通道高密度陣列，從一名有嚴重癱瘓及失語症狀參與者的感覺運動皮質訊號，解碼其嘗試表達的句子，並控制虛擬化身。1

2023 年成果主要集中在語音輸出和面部化身動畫；最新研究則把同類高密度腦皮層記錄和 AI 解碼方法，擴展至可與說話同步呈現上肢手勢的溝通方式。12

這項技術目前仍屬研究中的示範系統，未是可供臨床普遍使用的溝通裝置。23