Имплант UCSF научили одновременно распознавать речь и жесты у людей с параличом

Исследователи Калифорнийского университета в Сан-Франциско (UCSF) разместили на поверхности сенсомоторной коры — области мозга, участвующей в планировании речи и движений, — высокоплотную электрокортикографическую (ЭКоГ) сетку из 253 электродов. Она регистрировала нейронную активность, пока участники пытались говорить и выполнять жесты верхней частью тела. Затем алгоритмы машинного обучения в течение нескольких секунд переводили эти сигналы в синхронные речь и движения персонализированного виртуального аватара. 23

Как работала система

• Имплант улавливал корковую активность, связанную с попытками совершать движения голосового тракта и верхней части тела, хотя сами участники были парализованы. 23
• Вместо одного универсального алгоритма команда обучила отдельные декодеры для разных задач. Один сопоставлял нейронную активность с предполагаемой речью, другой — с командами или кинематикой жестов аватара. 23
• Важный результат нейронауки: сигналы при сочетании речи и жестов не были простым суммированием сигналов, наблюдаемых при речи или жестах по отдельности. Поэтому обучение на комбинированных, более естественных коммуникативных задачах оказалось принципиальным для согласованной работы голоса и движений аватара. Имеющихся данных недостаточно, чтобы количественно оценить эту несуммируемость или точность декодеров. 23

Зачем это нужно

Системы общения с отслеживанием взгляда и синтезом речи нередко требуют последовательно выбирать буквы или пиктограммы. Это может быть медленно и утомительно; кроме того, такие решения передают слова, но не значительную часть смысла, которую в обычном разговоре несут поза, движения рук, указательные жесты и интонационное выделение. Новый подход нацелен на одновременное восстановление словесного и невербального каналов общения. 2

Говорящий и жестикулирующий аватар потенциально позволяет параллельно с речью выражать согласие кивком, приветствовать взмахом руки, указывать или выделять важную мысль. Однако это исследовательская демонстрация, а не доступное клиническое устройство для повседневного использования. 23

Участники и задачи

В исследовании участвовали три человека с параличом голосового тракта и конечностей. 2 Представленные материалы не называют диагноз и причину паралича каждого участника, а также не приводят полного списка экспериментальных заданий. Они подтверждают лишь, что участники пытались говорить и выполнять жесты верхней частью тела, пока система декодировала оба типа намерений. 3

В сообщениях об этой области исследований упоминаются, в частности, инсульт и боковой амиотрофический склероз (БАС), но имеющиеся авторитетные фрагменты не позволяют связать конкретную причину с конкретным участником.

Главное ограничение и дальнейшая цель

Продемонстрированная система пока проводная: корковая сетка физически соединена с внешним оборудованием для регистрации и вычислений. Это ограничивает самостоятельное постоянное применение в быту.

Заявленное направление разработки — полностью имплантируемая беспроводная система, которая могла бы устранить кабель, проходящий через кожу, и сделать длительное использование практичнее. Предоставленные источники не сообщают сроков, производителя устройства или регуляторного статуса.

Связь с работой UCSF 2023 года

Новая работа развивает нейропротез речи команды Эдварда Чанга, описанный в Nature в 2023 году. Тогда 253-канальная ЭКоГ-сетка в сенсомоторной коре применялась у одного человека с тяжёлым параличом и анартрией — утратой способности членораздельно говорить — для декодирования задуманных предложений и управления аватаром. 1

Система 2023 года была сосредоточена на речевом выводе и анимации лица аватара. Новое исследование расширяет тот же общий подход высокоплотной корковой регистрации и ИИ-декодирования, добавляя одновременную передачу жестов верхней части тела. 12