Ét hjerneimplant kan få en avatar til både at tale og gestikulere

Et enkelt, højopløseligt implantat på hjernens overflade kan i princippet omsætte en persons tilsigtede ord og bevægelser med overkroppen samtidig. I forsøget betød det, at en virtuel avatar kunne kommunikere med både syntetisk tale og gestik – ikke kun tekst. Det er et vigtigt teknisk bevis på, at tilgangen kan fungere, men ikke en løsning, der endnu er klar til klinisk hverdagsbrug. 37

Sådan foregik forsøget

Tre personer med alvorlig lammelse af både taleapparat og lemmer – herunder personer med ALS og følger efter en hjernestammeblødning eller -infarkt – fik lagt et ECoG-array med 253 elektroder over den sensorimotoriske hjernebark. ECoG, elektrokortikografi, registrerer elektrisk aktivitet direkte fra hjernens overflade.

Forskerne målte signalerne, mens deltagerne forsøgte at sige faste fraser, udføre gestik som at vinke eller give tommelfingeren op – eller gøre begge dele på én gang. Maskinlæringsmodellerne blev derefter trænet til at koble disse mønstre i hjerneaktiviteten til tale og bevægelse. 37

Samtidig kommunikation har sit eget neurale mønster

Tale og gestik med overkroppen gav adskillelige, men koordinerede aktivitetsmønstre i hjernen. Det centrale fund var, at aktiviteten ved samtidige forsøg på at tale og gestikulere ikke blot var en simpel sammenlægning af signalerne fra tale alene og gestik alene.

De kombinerede handlinger havde deres egne karakteristiske neurale mønstre. Derfor måtte afkodningen lære den samlede kommunikationshandling frem for at behandle stemme og bevægelse som to helt uafhængige kanaler. 37

Træning på kombinationen gav bedre resultater

Afkodere, der var trænet med eksempler på samtidig tale og gestik, var bedre til at genkende netop disse kombinerede handlinger end modeller, der kun havde set isoleret tale eller isolerede bevægelser.

Hos to deltagere styrede systemet i realtid en avatar med hel krop, så den både kunne tale med syntetisk stemme og bevæge overkroppen i samme øjeblik. 37

Hvorfor gestik kan gøre en stor forskel

Mange mennesker med svær lammelse bruger i dag øjenstyring til at vælge bogstaver eller menupunkter ét ad gangen. Det kan være langsomt og anstrengende. I almindelig samtale ligger en stor del af meningen imidlertid også i timing, tryk, kropsholdning, pegning, hilsner og små bekræftende bevægelser.

Hvis et kommunikationshjælpemiddel kan genskabe sådanne signaler sammen med tale, kan det på sigt gøre samspillet mere flydende og udtryksfuldt. Forsøget har dog kun vist den tekniske mulighed; det har endnu ikke dokumenteret en bedre livskvalitet eller funktion i langvarig daglig brug. 37

Mere end ord

Forskerne peger på, at en fremtidig kommunikationsneuroprotese kan hjælpe med at formidle hensigt ud over selve ordene: enighed, betoning, hilsen, følelsespræget kropssprog og signaler om, hvornår man vil tage ordet. Arbejdet understøtter samtidig idéen om, at én hjernegrænseflade kan afkode flere koordinerede kommunikationsformer. 37

Næste skridt: uden ledning

Demonstrationen blev lavet med et ledningsforbundet forskningssystem. Holdet planlægger en fuldt implanterbar, trådløs version, som skal gøre længerevarende brug i hverdagen mere praktisk ved at fjerne det udvendige kabel og videreudvikle den multimodale afkodning. 7

Projektet bygger på gruppens Nature-studie fra 2023, hvor en deltager med lammelse efter en hjernestammelæsion brugte hjernesignaler til at skabe tekst, syntetisk tale og en ansigtsavatar med mimik. 14