Mozkový implantát dekódoval řeč i gesta současně

Komunikace není jen sled slov. Význam nesou i přikývnutí, mávnutí na pozdrav, důraz rukou nebo postoj těla. Právě tuto další vrstvu lidského dorozumívání se nyní pokusil obnovit tým vedený neurochirurgem Edwardem Changem z Kalifornské univerzity v San Francisku (UCSF).

Výzkumníci ukázali, že jediný vysokohustotní mozkový implantát může současně převést zamýšlená slova i pohyby horní části těla na hlas a gesta virtuálního avatara. Jde o důležitý důkaz technické proveditelnosti, nikoli o systém připravený pro běžnou klinickou péči. 37

Jak systém fungoval

Do oblasti senzomotorické kůry, která se podílí na řízení pohybů včetně pohybů souvisejících s řečí, vědci umístili u tří lidí s těžkým ochrnutím pole se 253 elektrodami. Účastníci měli ochrnutí hlasového ústrojí i končetin; mezi příčinami byla amyotrofická laterální skleróza (ALS) a mozková příhoda v oblasti mozkového kmene.

Elektrokortikografie neboli ECoG snímá elektrickou aktivitu přímo z povrchu mozku. Účastníci se pokoušeli vyslovovat zadané věty, provádět gesta — například mávnout nebo ukázat palec nahoru — případně obojí současně. Modely strojového učení pak propojily zaznamenanou mozkovou aktivitu s výstupem řeči a pohybu avatara. 37

Současná řeč a gesto mají vlastní mozkový „podpis“

Řeč a gesta horní částí těla vyvolávaly oddělitelné, ale vzájemně koordinované vzorce aktivity. Podstatné bylo, že signál při pokusu mluvit a současně gestikulovat nebyl prostým součtem signálů z úloh prováděných samostatně. Kombinovaná komunikace měla své charakteristické rysy. 37

To vysvětluje, proč nestačí vycvičit dva zcela nezávislé dekodéry — jeden pro řeč a druhý pro pohyb. Algoritmus se musí učit i to, jak mozek obě formy projevu propojuje v reálném čase.

Proč pomohl trénink na kombinovaných úlohách

Dekodéry trénované na příkladech, v nichž účastníci zkoušeli mluvit a gestikulovat zároveň, zvládaly souběžné úkony lépe než modely učené jen na izolované řeči či izolovaném pohybu. U dvou účastníků systém v reálném čase ovládal celotělového avatara: syntetizovaná řeč a pohyby horní části těla tak probíhaly souběžně. 37

Prakticky to znamená, že avatar mohl nejen pronést pozdrav, ale například jej doprovodit mávnutím nebo vyjádřit souhlas pohybem hlavy či těla — tedy projevy, které jsou v přirozeném rozhovoru běžné.

Potenciální alternativa k pomalému psaní očima

Komunikační pomůcky ovládané pohledem často fungují tak, že uživatel postupně vybírá písmena nebo položky nabídky. To může být pomalé a únavné. V rozhovoru přitom lidé běžně využívají rytmus, důraz, ukazování, potvrzení, pozdrav i neverbální projevy emocí.

Obnovení těchto signálů spolu s řečí by jednou mohlo komunikaci urychlit, snížit její náročnost a učinit ji sociálně přirozenější. Dosavadní výsledky ale prokazují technickou proveditelnost; zatím nedokazují, že systém v dlouhodobém každodenním používání skutečně zlepší kvalitu života. 37

Co to může znamenat pro neverbální komunikaci

Studie naznačuje, že komunikační neuroprotéza by v budoucnu nemusela obnovovat pouze slova. Mohla by předávat i souhlas, důraz, pozdrav, řeč těla vyjadřující emoce nebo střídání mluvčích v konverzaci — tedy komunikační záměr, který se do samotného textu nevejde. Zároveň podporuje širší princip: jediný kortikální implantát může dekódovat několik koordinovaných způsobů komunikace. 37

Další krok: bezdrátový implantát

Předvedený systém byl kabelový a sloužil pro výzkum. Tým plánuje plně implantovatelnou bezdrátovou variantu, která by odstranila externí kabel a mohla by se lépe hodit pro dlouhodobé každodenní použití při multimodálním dekódování.

Navazuje tím na demonstraci zveřejněnou v časopise Nature v roce 2023. Tehdy účastnice s ochrnutím po mozkové příhodě v mozkovém kmeni využila mozkové signály k tvorbě textu, syntetizované řeči a obličejového avatara s výrazy. 14