Jeden mozkový implantát převádí zamýšlenou řeč i gesta ochrnutých lidí na avatara

Výzkumníci z Kalifornské univerzity v San Francisku (UCSF) umístili na povrch senzomotorické kůry mozku pole s vysokou hustotou 253 elektrod. Tato oblast se podílí na plánování řeči a pohybů. Implantát zaznamenával mozkovou aktivitu ve chvíli, kdy se lidé s těžkým ochrnutím pokoušeli mluvit a dělat gesta horní částí těla. Algoritmy strojového učení pak během několika sekund převedly signály na současný hlasový a pohybový projev personalizovaného virtuálního avatara. 23

Jak systém převáděl záměr na řeč a pohyb

• Elektrody zachycovaly korovou aktivitu spojenou se zamýšlenými pohyby hlasového ústrojí a horní části těla, přestože účastníci tyto pohyby kvůli ochrnutí nemohli vykonat. 23
• Tým netrénoval jediný univerzální model. Použil samostatné dekodéry pro jednotlivé úkoly: jeden převáděl aktivitu na zamýšlenou řeč, druhý na příkazy či kinematiku gest avatara. 23
• Aktivita při současné řeči a gestikulaci nebyla jen prostým součtem signálů zaznamenaných při samostatné řeči a samostatných gestech. To podpořilo trénování na přirozenějších úkolech, v nichž člověk mluví a gestikuluje zároveň, a umožnilo sladit hlas i pohyby avatara. Dostupné podklady ale neuvádějí číselné vyjádření tohoto rozdílu ani výkonu dekodérů. 23

Proč je současné dekódování důležité

Běžné komunikační pomůcky ovládané sledováním očí často vyžadují postupný výběr písmen nebo ikon. To může být pomalé a únavné. Text či syntetický hlas navíc sám o sobě nepřenáší velkou část významu, který při rozhovoru vyjadřujeme držením těla, pohybem paží, ukazováním nebo důrazem.

Avatar tak může například současně pozdravit mávnutím a vyslovit pozdrav, případně přikývnout na znamení souhlasu. Jde však o výzkumnou demonstraci, nikoli o komerčně dostupnou komunikační pomůcku. 23

Kdo se studie účastnil

Studie zahrnovala tři osoby s ochrnutím hlasového ústrojí i končetin. Účastníci se pokoušeli mluvit a provádět gesta horní částí těla, zatímco systém dekódoval obě složky komunikace. 23

Poskytnuté zdroje neuvádějí diagnózu ani příčinu ochrnutí u každého účastníka zvlášť a nepopisují kompletní seznam experimentálních úkolů. Nelze proto spolehlivě přiřadit konkrétní zdravotní stav jednotlivým lidem ve studii.

Omezení a další krok

Dosavadní systém je kabelový: mřížka elektrod je fyzicky spojena s externím zařízením pro záznam a výpočet. To omezuje samostatné každodenní použití. Uváděným směrem vývoje je plně implantovatelný bezdrátový systém, který by odstranil kabel vedoucí přes kůži a mohl by usnadnit dlouhodobější praktické využití. Z dostupných výňatků nelze určit termín, výrobce ani případný regulační stav takového zařízení.

Návaznost na práci z roku 2023

Nový výzkum rozšiřuje dřívější práci týmu Edwarda Changa z roku 2023. Tehdy použili 253kanálové pole v senzomotorické kůře u jednoho člověka s těžkým ochrnutím a anartrií — ztrátou schopnosti artikulovat řeč — k dekódování zamýšlených vět a ovládání avatara. 1

Původní systém se soustředil na řeč a animaci obličeje avatara. Nová práce na stejném obecném principu hustého záznamu korové aktivity a dekódování pomocí umělé inteligence přidává současnou komunikaci pomocí gest horní části těla. 12