Як один мозковий імплант навчився одночасно розпізнавати намір говорити та жестикулювати

Дослідники Каліфорнійського університету в Сан-Франциско (UCSF) розмістили на поверхні сенсомоторної кори — ділянки, пов’язаної з плануванням рухів і мовлення — високощільну електрокортикографічну (ECoG) матрицю з 253 електродів. Вона записувала мозкову активність, коли учасники з тяжким паралічем намагалися говорити та жестикулювати верхньою частиною тіла. Алгоритми машинного навчання за лічені секунди перетворювали ці сигнали на одночасні мовні й жестові реакції персоналізованого віртуального аватара. 23

Як працювала система

• Імплант фіксував кортикальну активність, пов’язану зі спробами рухати голосовим трактом і виконувати рухи верхньою частиною тіла, хоча учасники не могли здійснити ці дії фізично через параліч. 23
• Команда навчила окремі декодери для різних завдань, а не покладалася на одну універсальну модель нейронних сигналів. Один декодер визначав задумане мовлення, інший — команди або кінематику жестів для аватара. 23
• Важливий висновок нейронауки: мозкова активність під час поєднання мовлення з жестами не була простою сумою активності, зафіксованої під час мовлення окремо та жестів окремо. Саме тому декодери варто навчати на природних комбінованих комунікативних завданнях — це дало змогу узгодити голос і рухи аватара, а не поєднувати їх механічно. Наведені дані підтверджують одночасне мультимодальне декодування, але не містять достатньо відомостей, щоб кількісно оцінити цю неадитивність або точність декодерів. 23

Чому це важливо

Системи перетворення тексту на мовлення з керуванням поглядом можуть бути повільними та виснажливими: користувачеві доводиться послідовно обирати літери чи піктограми. До того ж вони передають слова, але не значну частину змісту, яку в розмові несуть поза, рухи рук, вказування чи інтонаційний акцент. Нова технологія прагне відновити словесний і невербальний канали спілкування одночасно. 2

Аватар, що говорить і жестикулює, потенційно може природніше передавати комунікативний намір — наприклад, вітання рукою, згоду кивком, вказівний жест або наголос на важливій думці. Водночас це поки що дослідницька демонстрація, а не доступний для повсякденного використання медичний засіб комунікації. 23

Учасники та межі відомого

• У дослідженні брали участь троє людей із паралічем і голосового тракту, і кінцівок. 2
• Надані матеріали не називають діагнозів кожного учасника, причин їхнього паралічу або повного переліку експериментальних завдань. Вони підтверджують лише, що учасники намагалися говорити та робити жести верхньою частиною тіла, а система декодувала обидва типи намірів. 3
• У повідомленнях про дослідження згадуються такі стани, як інсульт і бічний аміотрофічний склероз (БАС), але наявні авторитетні уривки не дозволяють пов’язати конкретну причину з конкретним учасником.

Головне обмеження і наступний крок

Нинішня система є дротовою: кортикальна матриця фізично під’єднана до зовнішнього обладнання для запису й обчислень. Це обмежує незалежне щоденне використання.

Заявлений напрям розробки — повністю імплантована бездротова система, яка має прибрати кабель, що проходить крізь шкіру, і зробити постійне застосування практичнішим. У наданих матеріалах немає достатніх даних про строки, виробника пристрою або регуляторний статус.

Зв’язок із розробкою UCSF 2023 року

Ця робота продовжує дослідження команди Едварда Чанга, опубліковане 2023 року в Nature. Тоді 253-канальну матрицю в сенсомоторній корі використали в однієї людини з тяжким паралічем та анартрією — втратою здатності вимовляти слова — для декодування задуманих речень і керування аватаром. 1

Система 2023 року була зосереджена на мовленні та анімації обличчя аватара. Нове дослідження розширює той самий загальний підхід — високощільний запис сигналів кори та ШІ-декодування — до синхронного відтворення жестів верхньої частини тіла. 12