Имплант UCSF научился одновременно распознавать речь и жесты

Общение состоит не только из слов. Мы киваем в знак согласия, пожимаем плечами, указываем направление, усиливаем фразу жестом. Исследователи из Калифорнийского университета в Сан-Франциско (UCSF) показали интерфейс «мозг — компьютер» (BCI), который пытается вернуть оба канала общения одновременно.

В исследовании участвовали три человека с тяжёлым параличом голосового тракта и конечностей. Один имплант регистрировал мозговую активность, пока участники пытались говорить и выполнять жесты верхней частью тела. Затем алгоритмы машинного обучения переводили эти сигналы в текст и движения персонализированного цифрового аватара практически в реальном времени. 17

Как работает система с 253 электродами

В основе установки — высокоплотный массив из 253 электродов для электрокортикографии (ECoG), размещённый на поверхности сенсомоторной коры. Эта область коры связана и с движениями, необходимыми для речи, и с движениями верхней части тела. 17

Участники пытались произносить слова и выполнять движения, хотя физически не могли сделать это обычным образом. Имплант считывал связанные с попытками нейронные сигналы, а модели машинного обучения преобразовывали их в речевой вывод и команды для аватара. Поэтому речь и движение могли воспроизводиться параллельно, а не переключаться между разными режимами управления. 14

Система улавливала сигналы, связанные с движениями рта и лица, а также с жестами верхней части тела — например, кивком, пожатием плечами или поднятием сжатого кулака. У двух участников исследователи применили параллельное декодирование речи и жестов, чтобы управлять аватаром. 7

Почему нужны отдельные декодеры

Речь и жестикуляция связаны, но это не один и тот же моторный сигнал. Авторы использовали специализированные подходы к декодированию словесных намерений и движений. Важно, что нейронная активность при одновременной попытке говорить и жестикулировать, по данным работы, не сводилась к простой сумме сигналов, зарегистрированных при выполнении этих задач по отдельности.

Обучение на комбинированных задачах позволило получить согласованный результат: аватар мог произносить предполагаемую фразу и одновременно выполнять соответствующий жест. Однако доступные материалы не позволяют независимо оценить величину этого неаддитивного эффекта или сопоставить качество декодирования по всем заданиям. 147

Зачем нужен аватар, если можно вывести текст

Многие вспомогательные средства коммуникации предлагают выбирать буквы, слова или пиктограммы по одной. Это полезная технология, но последовательный набор часто делает разговор медленным и утомительным. В более ранней работе UCSF участница пользовалась устройством, обеспечивавшим около 14 слов в минуту; экспериментальная система декодировала текст почти со скоростью 80 слов в минуту. 28

Новая разработка нацелена и на другую проблему: один текст передаёт не все социальные оттенки разговора. Жесты могут выражать согласие, акцент, приветствие или направление одновременно с фразой. Поэтому говорящий и движущийся аватар задуман не просто как экран для вывода текста, а как более выразительный способ общения. 134

Что известно об участниках и заданиях

Нейронную активность записывали у трёх участников с параличом голосового тракта и конечностей. Они выполняли попытки речи и движений верхней части тела; у двух участников тестировали параллельное декодирование речи и жестов. 7

Предоставленные источники не содержат надёжного описания диагноза каждого участника или полного протокола всех заданий. В сообщениях о более широкой группе людей с подобными нарушениями упоминаются, в частности, инсульт и боковой амиотрофический склероз (БАС), но приписывать конкретный диагноз кому-либо из трёх участников без полных клинических данных нельзя. 36

Пока это не устройство для повседневного использования

Система остаётся исследовательским прототипом. Продемонстрированная установка проводная: кортикальный электродный массив соединён с внешним оборудованием для регистрации и вычислений. Это ограничивает самостоятельное использование в быту.

Следующая заявленная цель — полностью имплантируемая беспроводная версия, которая избавила бы от кабеля, проходящего через кожу. В доступных материалах нет сроков её появления, сведений о производителе или данных о регуляторном одобрении, поэтому считать систему готовым медицинским продуктом пока нельзя.

Связь с разработкой UCSF 2023 года

Новая работа продолжает исследование UCSF, опубликованное в журнале Nature в 2023 году. Тогда участница с тяжёлым параличом и анартрией — утратой способности произносить членораздельную речь — использовала высокоплотный ECoG-массив на 253 канала. Система декодировала задуманные предложения в текст, синтезированную речь и анимацию лица аватара. 33

Та разработка была сосредоточена на речи и лицевой анимации. Теперь исследователи расширили тот же общий подход — поверхностную запись активности коры и декодирование с помощью ИИ — на одновременную передачу жестов верхней части тела. Это заметный шаг к нейропротезам, которые смогут возвращать и вербальную, и невербальную стороны разговора, хотя до рутинного клинического применения технологии ещё необходимы дополнительные исследования. 12434