Jeden implant odczytuje zamiar mówienia i gestykulacji u osób z paraliżem

Komunikacja to nie tylko słowa. Potakiwanie, machnięcie na powitanie, wskazanie czegoś czy gest podkreślający wypowiedź przekazują znaczenie równie skutecznie jak zdanie. Zespół neurochirurga Edwarda Changa z University of California, San Francisco (UCSF) pokazał, że pojedynczy implant korowy może odczytywać zamierzoną mowę i ruchy górnej części ciała jednocześnie. Wynik jest ważnym dowodem wykonalności, ale technologia nie jest jeszcze systemem gotowym do codziennego zastosowania klinicznego. 37

Co rejestrował implant

W badaniu uczestniczyły trzy osoby z ciężkim paraliżem narządu mowy i kończyn, w tym osoby z ALS oraz po udarze pnia mózgu. Nad korą sensomotoryczną — obszarem uczestniczącym w sterowaniu ruchem — umieszczono u nich macierze ECoG (elektrokortykografia) z 253 elektrodami. Elektrody leżą na powierzchni mózgu i rejestrują jego aktywność elektryczną. 37

Podczas sesji uczestnicy próbowali wypowiadać określone frazy, wykonywać gesty, np. machanie lub znak kciuka w górę, albo robić obie rzeczy równocześnie. Zebrane sygnały posłużyły do trenowania modeli uczenia maszynowego, które przekształcały wzorce aktywności mózgowej w mowę syntetyczną i ruchy awatara. 37

Mowa i gest nie są po prostu dwoma niezależnymi sygnałami

Badacze stwierdzili, że próby mówienia i gestykulacji wywołują rozróżnialne, lecz skoordynowane wzorce aktywności w korze. Co istotne, aktywność przy równoczesnej komunikacji nie była zwykłą sumą sygnałów z prób „tylko mowa” i „tylko gest”. Próby łączone miały własne, charakterystyczne wzorce neuronalne. 37

To wyjaśnia, dlaczego nie wystarcza traktowanie głosu i ruchu jako całkowicie osobnych kanałów. Dekoder musi uczyć się także tego, jak mózg koduje ich wspólne wykonanie.

Dlaczego trening na połączonych próbach był ważny

Algorytmy trenowane na przykładach, w których uczestnicy jednocześnie próbowali mówić i wykonywać gest, skuteczniej dekodowały takie połączone działania niż modele uczone jedynie na izolowanej mowie albo izolowanym ruchu. U dwóch uczestników system działał w czasie rzeczywistym: pełnopostaciowy wirtualny awatar wypowiadał syntetyzowane słowa i równocześnie wykonywał ruchy górnej części ciała. 37

W praktyce może to oznaczać możliwość przekazania nie tylko treści „dzień dobry”, lecz także samego powitania poprzez gest — w jednym, zsynchronizowanym komunikacie.

Potencjalna alternatywa dla komunikacji wzrokiem

Systemy oparte na śledzeniu wzroku często wymagają wybierania kolejnych liter lub pozycji menu. Jest to użyteczne rozwiązanie, lecz proces bywa sekwencyjny, wolny i męczący. Tymczasem w zwykłej rozmowie znaczenie tworzą również tempo, akcent, postawa, wskazywanie, potwierdzenie czy sygnały zmiany kolejki do mówienia.

Przywrócenie gestów obok mowy mogłoby w przyszłości uczynić komunikację szybszą, mniej obciążającą i bogatszą społecznie. Obecne badanie dowodzi jednak przede wszystkim technicznej możliwości takiego podejścia — nie wykazano jeszcze, że przynosi ono w długotrwałym, codziennym użyciu lepszą jakość życia. 37

Co to może oznaczać dla osób niemówiących

W dłuższej perspektywie neuroproteza komunikacyjna mogłaby odtwarzać intencje wykraczające poza same słowa: zgodę, nacisk emocjonalny, powitanie, ekspresję ciała czy sygnały prowadzenia rozmowy. Badanie wspiera też szerszą ideę: jeden interfejs korowy może dekodować kilka skoordynowanych form komunikacji. 37

Następny krok: system bez kabla

Demonstracja korzystała z przewodowego zestawu badawczego. Zespół planuje w pełni wszczepialny, bezprzewodowy system, który ma ułatwić długotrwałe używanie technologii na co dzień przez wyeliminowanie zewnętrznego przewodu i rozwinięcie dekodowania wielu form komunikacji.

Prace rozwijają osiągnięcie opisane w 2023 r. w czasopiśmie Nature: osoba z paraliżem po udarze pnia mózgu używała wtedy sygnałów korowych do generowania tekstu, mowy syntetycznej oraz awatara twarzy z wyrazami mimiki. 14