Мозковий імплант одночасно декодує слова та жести для керування аватаром

Інтерфейс «мозок—комп’ютер» має допомагати не лише виводити слова на екран. Розмова складається також із кивка, вітання рукою, жесту згоди, акценту та моменту, у який людина реагує на співрозмовника. Саме цю багатоканальність комунікації спробувала відновити команда нейрохірурга Едварда Чанга з Каліфорнійського університету в Сан-Франциско (UCSF).

Дослідники показали, що один високощільний кортикальний імплант може одночасно перетворювати намір людини вимовити слова та рухати верхньою частиною тіла на мовлення і жести віртуального аватара. Це важливе підтвердження принципової можливості технології, але ще не система, готова до звичайного клінічного застосування. 37

Як працював імплант

У трьох учасників із тяжким паралічем голосового апарату й кінцівок, зокрема внаслідок БАС та інсульту стовбура мозку, над сенсомоторною корою розмістили масиви електрокортикографії (ECoG) із 253 електродами. ECoG реєструє електричну активність безпосередньо з поверхні кори головного мозку.

Поки учасники намагалися вимовляти фрази, робити жести — наприклад, махати рукою або показувати великий палець угору — чи поєднувати ці дії, система записувала їхню нейронну активність. Потім алгоритми машинного навчання вчилися співвідносити ці патерни із синтезованим мовленням і рухами аватара. 37

Одночасний намір має власний нейронний «підпис»

Мовлення й жести верхньою частиною тіла створювали відокремлювані, але скоординовані патерни активності кори. Найсуттєвіше відкриття: коли людина намагалася говорити й жестикулювати водночас, сигнал не зводився до простого додавання сигналів із завдань «лише мовлення» та «лише жест».

Комбінована дія мала власні характерні патерни. Отже, голос і рух не можна повністю розглядати як два незалежні канали: декодер має навчатися саме на їхній спільній роботі. 37

Чому спільне тренування покращило результат

Декодери, навчені на прикладах одночасних спроб говорити й жестикулювати, точніше розпізнавали такі комбіновані дії, ніж моделі, що бачили тільки ізольоване мовлення або ізольовані рухи.

У двох учасників система в реальному часі керувала повнотілим цифровим аватаром: синтезоване мовлення та жести верхньої частини тіла відбувалися синхронно. 37

Чим це потенційно природніше за набір тексту поглядом

Системи введення за допомогою погляду зазвичай вимагають послідовно вибирати літери або пункти меню. Це може бути повільно й виснажувати. У живій розмові зміст передають не тільки слова: важливі темп, наголос, поза, вказівні рухи, привітання, підтвердження згоди та інші невербальні сигнали.

Якщо відновити ці елементи разом із мовленням, спілкування потенційно стане швидшим, менш обтяжливим і соціально виразнішим. Водночас дослідження поки доводить технічну здійсненність підходу, а не перевагу для якості життя в тривалому щоденному використанні. 37

Що це може означати для невербальної комунікації

Робота вказує, що комунікаційний нейропротез у майбутньому може передавати не тільки слова, а й намір погодитися, привітатися, підкреслити думку, виразити емоційний стан мовою тіла або вчасно вступити в розмову. Для людей, які не можуть ані рухатися, ані говорити, це потенційно означає повернення ширшого спектра самовираження.

Результат також підтримує загальний принцип: один кортикальний інтерфейс може декодувати кілька скоординованих способів комунікації. 37

Наступний крок — бездротова імплантована версія

Нинішня демонстрація використовувала дротове дослідницьке обладнання. Команда планує створити повністю імплантовану бездротову систему, яка прибере зовнішній кабель і має зробити довготривале щоденне використання практичнішим, водночас розширюючи мультимодальне декодування.

Ця робота продовжує демонстрацію 2023 року, опубліковану в Nature: тоді учасниця з паралічем після інсульту стовбура мозку за допомогою кортикальних сигналів генерувала текст, синтезоване мовлення та міміку цифрового аватара. 14