UCSF脑机接口让瘫痪者“边说边比划”：253电极如何同步解码言语与手势

对于因严重瘫痪而失去说话和肢体动作能力的人而言，沟通并不只是“把字打出来”。点头、挥手、指向、姿势和语气强调，往往同样传递着意思。

加州大学旧金山分校（UCSF）研究人员展示了一种脑机接口：他们将一块含 253个电极 的高密度皮层脑电图（ECoG）阵列放置在感觉运动皮层表面。该脑区参与言语和动作的计划。参与者尝试说话、同时尝试做上肢手势时，系统记录其神经活动，并在数秒内将信号转化为文字、语音以及个性化虚拟形象的同步动作。23

关键不在“读心”，而在解码动作意图

即使参与者因瘫痪无法实际发声或完成动作，与声道运动和上肢动作意图相关的皮层活动仍可被记录。植入阵列收集这些脑表面电信号后，机器学习系统将其转换为可供计算机使用的输出。23

研究团队没有用一个通用模型同时处理所有任务，而是训练了两类任务专用解码器：

• 一类解码器对应参与者想要说出的内容；
• 另一类解码器对应驱动虚拟形象的手势指令或动作学信息。

这样，虚拟形象可以让语音和动作并行出现，例如在说“你好”的同时挥手，或在表达赞同时点头。23

为什么要把言语和手势放在一起训练？

这项研究的一个重要神经科学发现是：同时进行“说话＋手势”时的脑活动，并不是“只说话”与“只做手势”两种脑活动的简单相加。23

这意味着，若要恢复更接近日常对话的表达，系统不能只把语音模块和动作模块机械拼接起来。研究人员据此在自然、多模态的交流任务中训练解码器，使虚拟形象的声音与动作能够协调输出。现有资料支持其实现了同步多模态解码，但不足以量化这种非简单相加特征的具体程度，或给出完整的解码性能指标。23

对辅助沟通意味着什么？

眼动文字输入等辅助沟通技术通常需要用户逐个选择字母或图标，过程可能较慢且耗费精力。它们能传递文字，却较难同时表达姿势、指向、强调等非语言信息。2

这套系统瞄准的是同时恢复两条沟通渠道：一条是语言内容，另一条是上肢和姿态所承载的社交表达。理论上，能够说话并做手势的虚拟形象可让交流显得更自然、更完整。不过，这仍是一项研究性演示，并非已经可普遍使用的临床沟通设备。23

参与者、限制与下一步

研究涉及3名同时存在声道和肢体瘫痪的人士。2 提供的资料没有列出每位参与者的具体诊断、瘫痪成因或全部实验任务；能够确认的是，他们在尝试言语和上肢动作时，系统可对两类意图进行解码。3

目前的装置仍需通过物理线缆连接外部记录与计算设备，这限制了日常独立使用。研究团队提出的发展方向是全植入式无线系统，以去除穿过皮肤的连接线并支持更持续、更实用的使用方式；但现有资料未提供明确时间表、设备厂商或监管审批状态。23

与2023年UCSF言语神经假体研究的关系

这项工作延续了Chang团队2023年发表于《自然》的言语神经假体研究。该研究曾在1名患有严重瘫痪和构音不能的参与者身上，使用253通道高密度阵列，从感觉运动皮层等区域的信号中解码其意图句子，并支持虚拟形象输出。1

2023年的系统重点在言语输出及面部虚拟形象动画；新研究则沿用高密度皮层记录与人工智能解码的总体思路，把能力扩展到言语和上肢手势的同步沟通。12