Implant UCSF odczytuje jednocześnie mowę i gesty, sterując awatarem

Komunikacja nie ogranicza się do słów. W rozmowie kiwamy głową, wskazujemy kierunek, wzruszamy ramionami albo podkreślamy wypowiedź ruchem. Naukowcy z University of California, San Francisco (UCSF) pokazali interfejs mózg–komputer (BCI), który ma odzyskiwać oba te kanały naraz.

W badaniu trzy osoby z ciężkim paraliżem narządów mowy i kończyn próbowały mówić oraz wykonywać gesty górną częścią ciała. Pojedyncza wszczepiona macierz elektrod rejestrowała aktywność mózgu, a modele uczenia maszynowego przekładały ją niemal w czasie rzeczywistym na tekst oraz ruchy spersonalizowanego wirtualnego awatara. 17

Jak działał implant z 253 elektrodami

System wykorzystywał macierz 253 elektrod do elektrokortykografii (ECoG), umieszczoną na powierzchni kory mózgowej w obszarze kory czuciowo-ruchowej. Ten rozległy obszar wiąże się zarówno z ruchami potrzebnymi do mowy, jak i z ruchami górnej części ciała. 17

Uczestnicy podejmowali próby mówienia i gestykulacji, choć z powodu paraliżu nie mogli wykonywać tych czynności w zwykły sposób. Implant rejestrował związane z tym sygnały neuronalne. Następnie modele uczenia maszynowego przekształcały je w tekst i działania awatara, tak aby mowa i ruch mogły pojawiać się równocześnie, a nie jako dwa niezależne tryby sterowania. 14

Badacze wykryli sygnały związane m.in. z ruchami ust i twarzy wykorzystywanymi przy mówieniu oraz z gestami górnej części ciała, takimi jak kiwanie głową, wzruszanie ramionami czy ruch zaciśniętą pięścią. U dwóch uczestników równoległe dekodowanie mowy i gestów posłużyło do sterowania awatarem. 7

Dlaczego potrzebne były osobne dekodery

Mowa i gest są ze sobą powiązane, ale nie są po prostu jednym, ogólnym poleceniem ruchowym. Zespół zastosował podejścia dekodujące dostosowane do zamierzonych wypowiedzi i ruchów.

To istotne, ponieważ aktywność mózgowa rejestrowana podczas jednoczesnej mowy i gestykulacji nie była jedynie sumą sygnałów obserwowanych przy każdym z tych zadań osobno. Trenowanie systemu na łączonych zadaniach komunikacyjnych umożliwiło więc skoordynowany efekt: awatar mógł wypowiadać zamierzone słowa i równocześnie wykonywać odpowiadający im gest. Dostępne opisy potwierdzają tę równoczesną, wielokanałową demonstrację, ale nie pozwalają niezależnie ocenić skali tego niesumującego się efektu ani porównać skuteczności dekoderów we wszystkich zadaniach. 147

Więcej niż komunikacja tekstem

Wiele technologii wspomagających komunikację opiera się na wybieraniu kolejno liter, słów lub ikon. Bywa to bardzo pomocne, ale taka sekwencyjna obsługa może czynić rozmowę wolną i męczącą. We wcześniejszych pracach UCSF jedna z uczestniczek korzystała z urządzenia komunikacyjnego osiągającego około 14 słów na minutę, podczas gdy eksperymentalny system dekodował tekst z szybkością bliską 80 słów na minutę. 28

Nowy BCI próbuje rozwiązać jeszcze inny problem: sam tekst nie oddaje całego społecznego sensu rozmowy. Gest może równocześnie z wypowiedzią wyrażać zgodę, nacisk, powitanie czy wskazanie kierunku. Mówiący i poruszający się awatar ma zatem czynić przekaz bardziej ekspresyjnym, a nie tylko wyświetlać słowa na ekranie. 134

Kto uczestniczył w badaniu

Naukowcy rejestrowali aktywność mózgu trzech uczestników z paraliżem narządów mowy i kończyn. Testowali próby mówienia, ruchy górnej części ciała, a u dwóch osób także równoległe dekodowanie mowy i gestów. 7

Dostarczone źródła nie opisują wiarygodnie, uczestnik po uczestniku, przyczyn paraliżu ani pełnego protokołu zadań. W doniesieniach o szerszej populacji wymienia się m.in. udar i stwardnienie zanikowe boczne (ALS), jednak bez pełnych danych klinicznych nie należy przypisywać konkretnej diagnozy żadnej z osób biorących udział w tym badaniu. 36

To nadal prototyp badawczy

System pozostaje eksperymentalnym BCI, a nie gotowym produktem medycznym. Demonstracja wykorzystywała przewodowe połączenie wszczepionej siatki korowej z zewnętrznym sprzętem rejestrującym i obliczeniowym, co ogranicza samodzielne, codzienne korzystanie.

Deklarowanym celem rozwoju jest w pełni wszczepialna wersja bezprzewodowa, która wyeliminowałaby przewód przechodzący przez skórę. W dostępnych materiałach nie podano harmonogramu, producenta ani statusu dopuszczenia regulacyjnego, więc nie można traktować tego rozwiązania jako dostępnego urządzenia.

Rozwinięcie pracy UCSF z 2023 roku

Nowe badanie nawiązuje do opublikowanej w 2023 r. pracy zespołu UCSF w czasopiśmie Nature. Wówczas uczestnik z ciężkim paraliżem i anartrią — całkowitą lub niemal całkowitą utratą zdolności artykulacji mowy — używał wysokogęstej macierzy ECoG z 253 kanałami. System dekodował zamierzone zdania do postaci tekstu, syntetyzowanej mowy i animacji twarzy awatara. 33

Wcześniejszy system koncentrował się na mowie oraz twarzy. Nowsza praca rozszerza podobne podejście — powierzchniowy odczyt aktywności kory i dekodowanie oparte na AI — o równoczesną komunikację gestami górnej części ciała. To krok w stronę neuroprotez, które mogłyby przywracać jednocześnie werbalną i niewerbalną część rozmowy, choć do rutynowego zastosowania klinicznego wciąż potrzebne są dalsze badania. 12434