对于失去说话和活动能力的人而言，沟通不应只剩下逐字拼写。加州大学旧金山分校（UCSF）神经外科医生爱德华·张（Edward Chang）团队展示，一枚高密度皮层植入物可以同时读取使用者想说的话与想做的上肢动作，让屏幕中的虚拟化身能够一边“说话”、一边做出相应手势。这是一项关键的概念验证，距离日常临床应用仍有距离。27

研究人员如何读取“想说”和“想动”

研究纳入3名声道和肢体均严重瘫痪的参与者，其中包括肌萎缩侧索硬化症（ALS，俗称“渐冻症”）和脑干卒中患者。研究团队将含253个电极的高密度皮层脑电图（ECoG）阵列置于感觉运动皮层表面；这类电极记录的是大脑皮层表面的电活动，而不是插入脑组织内部。27

参与者尝试说出短语、做出挥手和竖起大拇指等手势，或将两者同时完成。研究人员再利用机器学习模型，将这些脑活动模式映射为语音和手势输出。27

同步表达会产生独特的神经模式

结果显示，言语与上肢动作在皮层中有可区分、但彼此协调的活动模式。尤其值得注意的是：当参与者同时尝试说话和做手势时，所记录到的神经表征并不是“单独说话”与“单独做动作”信号的简单叠加，而是呈现出自身独特的模式。27

这也解释了为何不能把语音和动作当成完全互不相干的两条通道分别处理：系统需要学习真实沟通中两种行为同步发生时的联合模式。

为什么要用“边说边动”的数据训练

用参与者同步尝试言语和手势的样本训练出的解码器，在识别同步行为时优于只接受单独言语或单独动作训练的模型。在两名参与者身上，实时系统已能控制一个全身虚拟化身，使合成语音与上肢动作同时呈现。27

这意味着，使用者未来或许不仅能通过系统输出文字或声音，也能在说“你好”时挥手、在表示同意时点头，或通过姿势配合语气传递强调和态度。

比眼动逐字拼写更接近日常对话？

现有的眼动拼写系统通常要求使用者按顺序选择字母、字符或菜单项目，过程可能较慢，也容易造成疲劳。人与人的自然交流则远不止词语本身：节奏、重音、姿态、指向、肯定动作、问候和轮流发言，都会共同构成意思。

因此，若能在语音之外恢复这些非语言信号，沟通有望更高效、更省力，也更具互动感。不过，目前证据证明的是技术可行性，并未证明它已能在长期日常生活中带来确定的生活质量改善。27

下一步：从有线实验走向无线植入

这次演示采用的是有线研究配置。团队计划开发完全植入式无线系统，以去除外接线缆，并让长期、日常使用更具可行性，同时继续扩展多模态解码能力。7

这一路线建立在团队2023年的工作之上：当时，他们曾让一名因脑干卒中而瘫痪的参与者，通过皮层信号生成文字、合成语音，以及带面部表情的虚拟化身。13

这项新研究的核心意义在于，它提示未来的沟通神经假体或许能够恢复的不只是“说出词语”，还包括同意、强调、问候、情绪化肢体语言和对话轮替等完整的沟通意图。27

对于失去说话和活动能力的人而言，沟通不应只剩下逐字拼写。加州大学旧金山分校（UCSF）神经外科医生爱德华·张（Edward Chang）团队展示，一枚高密度皮层植入物可以同时读取使用者想说的话与想做的上肢动作，让屏幕中的虚拟化身能够一边“说话”、一边做出相应手势。这是一项关键的概念验证，距离日常临床应用仍有距离。27

研究人员如何读取“想说”和“想动”

研究纳入3名声道和肢体均严重瘫痪的参与者，其中包括肌萎缩侧索硬化症（ALS，俗称“渐冻症”）和脑干卒中患者。研究团队将含253个电极的高密度皮层脑电图（ECoG）阵列置于感觉运动皮层表面；这类电极记录的是大脑皮层表面的电活动，而不是插入脑组织内部。27

参与者尝试说出短语、做出挥手和竖起大拇指等手势，或将两者同时完成。研究人员再利用机器学习模型，将这些脑活动模式映射为语音和手势输出。27

同步表达会产生独特的神经模式

结果显示，言语与上肢动作在皮层中有可区分、但彼此协调的活动模式。尤其值得注意的是：当参与者同时尝试说话和做手势时，所记录到的神经表征并不是“单独说话”与“单独做动作”信号的简单叠加，而是呈现出自身独特的模式。27

这也解释了为何不能把语音和动作当成完全互不相干的两条通道分别处理：系统需要学习真实沟通中两种行为同步发生时的联合模式。

为什么要用“边说边动”的数据训练

用参与者同步尝试言语和手势的样本训练出的解码器，在识别同步行为时优于只接受单独言语或单独动作训练的模型。在两名参与者身上，实时系统已能控制一个全身虚拟化身，使合成语音与上肢动作同时呈现。27

这意味着，使用者未来或许不仅能通过系统输出文字或声音，也能在说“你好”时挥手、在表示同意时点头，或通过姿势配合语气传递强调和态度。

比眼动逐字拼写更接近日常对话？

现有的眼动拼写系统通常要求使用者按顺序选择字母、字符或菜单项目，过程可能较慢，也容易造成疲劳。人与人的自然交流则远不止词语本身：节奏、重音、姿态、指向、肯定动作、问候和轮流发言，都会共同构成意思。

因此，若能在语音之外恢复这些非语言信号，沟通有望更高效、更省力，也更具互动感。不过，目前证据证明的是技术可行性，并未证明它已能在长期日常生活中带来确定的生活质量改善。27

下一步：从有线实验走向无线植入

这次演示采用的是有线研究配置。团队计划开发完全植入式无线系统，以去除外接线缆，并让长期、日常使用更具可行性，同时继续扩展多模态解码能力。7

这一路线建立在团队2023年的工作之上：当时，他们曾让一名因脑干卒中而瘫痪的参与者，通过皮层信号生成文字、合成语音，以及带面部表情的虚拟化身。13

这项新研究的核心意义在于，它提示未来的沟通神经假体或许能够恢复的不只是“说出词语”，还包括同意、强调、问候、情绪化肢体语言和对话轮替等完整的沟通意图。27