Імплант UCSF одночасно розшифрував мовлення та жести для керування аватаром

Спілкування — це не лише слова. Ми киваємо на знак згоди, знизуємо плечима, вказуємо напрямок, підсилюємо фразу рухом. Команда Каліфорнійського університету в Сан-Франциско (UCSF) продемонструвала інтерфейс «мозок — комп’ютер» (BCI), який намагається повернути обидва канали комунікації водночас.

У трьох людей із паралічем голосового тракту та кінцівок один імплант реєстрував мозкову активність під час спроб говорити й робити жести верхньою частиною тіла. Алгоритми машинного навчання перетворювали ці сигнали на текст і рухи персоналізованого цифрового аватара майже в реальному часі. 17

Як працював BCI з 253 електродами

Система використовувала щільний масив із 253 електродів для електрокортикографії (ECoG) — методу реєстрації сигналів безпосередньо з поверхні кори головного мозку. Масив розмістили над великою ділянкою сенсомоторної кори, пов’язаною як із рухами, необхідними для мовлення, так і з рухами верхньої частини тіла. 17

Учасники намагалися говорити та виконувати жести, хоча через параліч не могли здійснювати ці рухи звичним способом. Імплант фіксував відповідні нервові сигнали, а моделі машинного навчання перетворювали їх на текст і дії аватара. Тож мовлення та рух не були двома окремими режимами керування — вони могли відтворюватися разом. 14

Дослідники виявили сигнали, пов’язані з рухами рота й обличчя для мовлення, а також із такими жестами, як кивок, знизування плечима та стискання кулака. У двох учасників паралельне декодування мовлення й жестів використали для керування аватаром. 7

Чому не вистачило одного універсального декодера

Мовлення і жести тісно пов’язані, однак команда не зводила їх до єдиної загальної моторної команди. Для намірів говорити та рухатися застосовували окремі, спеціалізовані підходи до декодування.

Це важливо, адже під час одночасних спроб говорити й жестикулювати нейронні патерни, за даними дослідження, не були простою сумою сигналів для кожної дії окремо. Навчання на комбінованих комунікативних завданнях дозволило узгодити результат: аватар міг відтворювати задумане мовлення, одночасно виконуючи відповідний жест. Водночас доступні матеріали не містять достатньо даних, щоб незалежно оцінити масштаб цього неадитивного ефекту або зіставити якість декодерів для всіх завдань. 147

Навіщо аватару жести, якщо є текст

Багато допоміжних систем комунікації працюють через послідовний вибір літер, слів або піктограм. Вони можуть бути надзвичайно корисними, але такий спосіб часто робить розмову повільною й виснажливою.

Попередня робота UCSF показала різницю у швидкості: наявний комунікаційний пристрій однієї учасниці забезпечував близько 14 слів за хвилину, тоді як експериментальна система декодувала текст майже зі швидкістю 80 слів за хвилину. 28

Нова розробка спрямована і на інше обмеження: сам текст не передає всіх соціальних відтінків розмови. Жест може висловити привітання, згоду, наголос чи напрямок одночасно зі словами. Тому аватар, який говорить і рухається, покликаний зробити комунікацію виразнішою, а не лише швидше виводити текст на екран. 134

Хто брав участь у дослідженні

Нейронні сигнали записали у трьох учасників із паралічем голосового тракту та кінцівок. Вони виконували завдання зі спробами говорити й рухати верхньою частиною тіла; для двох учасників також тестували паралельне декодування мовлення та жестів. 7

Надані джерела не містять надійного опису причини паралічу для кожного учасника окремо або повного протоколу всіх завдань. У матеріалах про ширшу групу людей із такими порушеннями згадуються, зокрема, інсульт і бічний аміотрофічний склероз (БАС), але цих відомостей недостатньо, щоб приписати конкретний діагноз будь-кому з учасників цього дослідження. 36

Це ще не пристрій для щоденного використання

Нинішня система є дослідницьким BCI, а не готовим споживчим чи схваленим медичним продуктом. Продемонстрована установка дротова: імплантована коркова сітка фізично з’єднана із зовнішнім обладнанням для запису та обчислень. Це обмежує самостійне повсякденне використання.

Заявлена мета розробників — повністю імплантована бездротова версія, яка усуне кабель, що проходить крізь шкіру. Однак у наданих матеріалах немає підтверджених строків, виробника чи регуляторного статусу такого пристрою. Тож говорити про доступний на ринку продукт поки зарано.

Продовження роботи UCSF 2023 року

Нове дослідження спирається на роботу UCSF, опубліковану в Nature у 2023 році. Тоді учасниця з тяжким паралічем і анартрією — втратою здатності артикулювати мовлення — за допомогою 253-канального щільного ECoG-масиву декодувала задумані речення в текст, синтезоване мовлення та анімацію обличчя аватара. 33

Та система була зосереджена на мовленні та міміці. Нова робота поширює загальний підхід — запис із поверхні кори плюс декодування за допомогою ШІ — на одночасну невербальну комунікацію жестами верхньої частини тіла. Це важливий крок до нейропротезів, здатних відновлювати і словесну, і невербальну складові розмови, хоча до звичного клінічного застосування технології ще потрібні значні подальші дослідження. 12434