Jeden implant, mowa i gesty: avatar odczytuje zamiary osób z paraliżem

Badacze z University of California, San Francisco (UCSF) umieścili nad korą czuciowo-ruchową gęstą siatkę elektrokortykograficzną (ECoG) z 253 elektrodami. Ten obszar mózgu uczestniczy w planowaniu mowy i ruchów. Implant rejestrował aktywność neuronalną, gdy osoby z ciężkim paraliżem próbowały mówić i wykonywać gesty górną częścią ciała. Systemy uczenia maszynowego przekładały te sygnały w ciągu kilku sekund na równoczesne wypowiedzi oraz ruchy spersonalizowanego wirtualnego awatara. 23

Na czym polegało dekodowanie

• Implant wychwytywał korową aktywność związaną z próbami ruchów aparatu mowy oraz ruchami górnej części ciała, mimo że uczestnicy nie mogli ich fizycznie wykonać. 23
• Zespół nie użył jednego uniwersalnego modelu dla obu zadań. Wytrenowano osobne dekodery: jeden przypisywał wzorce aktywności do zamierzonej mowy, a drugi do poleceń gestów lub parametrów ruchu awatara. 23
• Istotnym wynikiem neurobiologicznym było to, że aktywność mózgu przy jednoczesnej próbie mówienia i gestykulacji nie była po prostu sumą aktywności rejestrowanej osobno dla mowy i dla gestu. To przemawia za treningiem systemu na łączonych, bardziej naturalnych zadaniach komunikacyjnych. Dzięki temu głos i ruchy awatara mogły być skoordynowane, a nie dodane do siebie niezależnie. Dostępne dane nie pozwalają jednak określić liczbowo skali tej nieliniowości ani wydajności dekoderów. 23

Dlaczego to może być ważne

Komunikacja oparta na śledzeniu wzroku i syntezie mowy zwykle wymaga kolejnego wybierania liter lub ikon. Może być przez to wolna i męcząca, a ponadto przekazuje przede wszystkim słowa. W rozmowie znaczenie niosą też ruchy rąk, postawa, wskazywanie, potakiwanie czy akcentowanie wypowiedzi. Nowe podejście ma przywracać równocześnie kanał werbalny i niewerbalny. 2

Awatar mówiący i wykonujący gesty mógłby więc przekazywać intencję komunikacyjną bardziej naturalnie — na przykład przywitanie połączone z machnięciem ręką albo zgodę wyrażoną słowami i skinieniem głowy. To wciąż demonstracja badawcza, a nie urządzenie komunikacyjne dostępne w rutynowej opiece klinicznej. 23

Uczestnicy i ograniczenia badania

W badaniu brały udział trzy osoby z paraliżem obejmującym aparat mowy i kończyny. 2 Przekazane materiały nie podają rozpoznania ani przyczyny paraliżu dla każdej osoby z osobna, ani pełnej listy zadań eksperymentalnych. Potwierdzają jedynie, że uczestnicy próbowali mówić i wykonywać gesty górną częścią ciała, a system dekodował oba rodzaje zamiarów. 3

Opisy dotyczące tej grupy badawczej wymieniają schorzenia takie jak udar i stwardnienie zanikowe boczne (ALS), ale przedstawione fragmenty źródeł nie pozwalają przypisać konkretnej przyczyny konkretnemu uczestnikowi.

Co pozostaje do rozwiązania

Pokazany system działa obecnie przewodowo: siatka korowa musi być fizycznie połączona z zewnętrznym sprzętem rejestrującym i obliczeniowym. Ogranicza to jego samodzielne, codzienne użycie. Kierunkiem dalszego rozwoju ma być w pełni wszczepialny system bezprzewodowy, który wyeliminowałby kabel przechodzący przez skórę i ułatwił ciągłe korzystanie z rozwiązania. Dostarczone źródła nie podają harmonogramu, producenta urządzenia ani jego statusu regulacyjnego.

Rozwinięcie wcześniejszych prac UCSF

Badanie rozwija pracę zespołu Edwarda Changa z 2023 roku, opublikowaną w „Nature”. Wówczas zastosowano 253-kanałową macierz nad korą czuciowo-ruchową u jednej osoby z ciężkim paraliżem i anartrią, aby dekodować zamierzone zdania oraz sterować awatarem. 1

System z 2023 roku koncentrował się na przekazie mowy i animacji twarzy awatara. Nowsze badanie rozszerza tę samą ogólną strategię — gęsty zapis aktywności korowej i dekodowanie z użyciem AI — o jednoczesną komunikację za pomocą mowy oraz gestów górnej części ciała. 12