Jeden mozkový implantát nechal avatara mluvit i gestikulovat

Komunikace nejsou jen slova. Význam doplňujeme kývnutím, pokrčením ramen nebo důrazným gestem. Výzkumníci z Kalifornské univerzity v San Francisku (UCSF) nyní ukázali rozhraní mozek–počítač (BCI), které má obnovit obě tyto roviny najednou: převádí zamýšlenou řeč i pohyby horní části těla na text, hlas a pohyby personalizovaného virtuálního avatara. Ve studii se účastnili tři lidé s těžkým ochrnutím hlasového aparátu a končetin. 17

Jak fungoval implantát s 253 elektrodami

Systém využívá husté pole 253 elektrod pro elektrokortikografii (ECoG), uložené na povrchu senzorimotorické kůry. Jde o rozsáhlou oblast mozkové kůry spojenou jak s pohyby potřebnými pro řeč, tak s pohyby horní části těla. 17

Účastníci se pokoušeli mluvit a provádět gesta, ačkoli je kvůli ochrnutí nemohli běžně vykonat. Implantát snímal související nervovou aktivitu a modely strojového učení ji převáděly na text a pohyby avatara. Výsledkem bylo, že řečový výstup a pohyb nemusely fungovat jako dva oddělené způsoby ovládání. 14

Zařízení zachytilo signály související s pohyby úst a obličeje při řeči i s gesty, jako je kývnutí, pokrčení ramen nebo zatnutí pěsti. U dvou účastníků vědci použili souběžné dekódování řeči a gest k ovládání avatara. 7

Proč nestačil jeden obecný dekodér

Řeč a gesta jsou propojené, výzkumníci je ale nebrali jako jediný nerozlišený motorický příkaz. Pro slovní a pohybový výstup použili dekodéry přizpůsobené konkrétním úlohám. To je důležité i proto, že mozkové vzorce při současné řeči a gestech podle studie nebyly jen prostým součtem signálů naměřených při každé činnosti zvlášť.

Trénink na kombinovaných komunikačních úlohách tak umožnil koordinovaný výstup: avatar mohl pronášet zamýšlenou řeč a současně k ní přidat gesto horní částí těla. Dostupné informace potvrzují tuto souběžnou multimodální ukázku, ale nestačí k nezávislému vyčíslení rozdílu oproti prostému součtu signálů ani k úplnému porovnání výkonu dekodérů ve všech úlohách. 147

V čem by mohl avatar překonat komunikaci pouze textem

Řada asistenčních komunikačních systémů funguje přes postupný výběr písmen, slov nebo ikon. Pro člověka mohou být velmi užitečné, ale takový způsob konverzace bývá pomalý a vyčerpávající. V dřívější práci UCSF dosahovalo komerční zařízení jedné účastnice zhruba 14 slov za minutu, zatímco experimentální systém dekódoval text rychlostí téměř 80 slov za minutu. 28

Nové BCI míří i na jiný problém: samotný text nenese veškerý společenský a emoční význam rozhovoru. Gestem lze vyjádřit souhlas, zdůraznění, pozdrav či směr zároveň s mluvením. Mluvící a pohybující se avatar proto nemá pouze zobrazovat text na obrazovce, ale nabídnout výraznější formu dorozumění. 134

Kdo se studie účastnil a co přesně ukazuje

Vědci snímali nervovou aktivitu u tří účastníků s ochrnutím hlasového aparátu a končetin. Testovali pokusy o řeč a pohyby horní části těla; u dvou z nich také souběžné dekódování řeči a gest. 7

Dodané zdroje neobsahují spolehlivý přehled příčiny ochrnutí u každého účastníka ani úplný protokol úloh. Zprávy o širší skupině lidí, pro které by technologie mohla být relevantní, zmiňují například cévní mozkovou příhodu a amyotrofickou laterální sklerózu (ALS). Bez plných klinických údajů studie však nelze žádnou konkrétní diagnózu připsat jednotlivému účastníkovi. 36

Zatím nejde o produkt pro domácí použití

Jde o výzkumné BCI, nikoli o spotřebitelský nebo schválený běžně dostupný zdravotnický prostředek. Předvedená sestava je kabelová: implantovaná mřížka je fyzicky připojena k externímu zařízení pro záznam a výpočty. To omezuje samostatné každodenní používání. 1

Cílem vývoje je plně implantovatelná bezdrátová verze, která by kabel vedený přes kůži odstranila. Dodané podklady ale neurčují harmonogram, výrobce ani regulační schválení, takže nelze systém považovat za technologii připravenou pro klinickou praxi.

Návaznost na práci UCSF z roku 2023

Nová studie navazuje na výzkum vedený UCSF z roku 2023, publikovaný v časopise Nature. Tehdy člověk s těžkým ochrnutím a anartrií — neschopností artikulované řeči — používal husté ECoG pole s 253 kanály. Systém převáděl zamýšlené věty na text, syntetizovanou řeč a animaci obličeje avatara. 33

Dřívější práce se soustředila na řeč a obličejový výstup. Nový výzkum rozšiřuje stejný obecný přístup, tedy snímání z povrchu mozkové kůry a dekódování pomocí umělé inteligence, o současnou neverbální komunikaci gesty horní části těla. Je to významný krok k neuroprotézám, které by jednou mohly obnovit slovní i mimoslovní stránku rozhovoru — k rutinnímu klinickému využití je však stále potřeba další výzkum. 12434