Hjerneimplantat lader lammede tale og gestikulere samtidig gennem avatar

Et forskerhold fra University of California, San Francisco (UCSF) placerede et højopløseligt elektrokortikografi-array (ECoG) med 253 elektroder på den sensorimotoriske hjernebark. Området er centralt for planlægning af både tale og bevægelser. Her registrerede implantatet hjerneaktivitet, mens deltagere med svær lammelse forsøgte at tale og udføre bevægelser med overkroppen. Maskinlæring omsatte inden for få sekunder signalerne til tale og gestik, der blev synkroniseret i en personlig virtuel avatar. 23

Sådan fungerede systemet

Implantatet opfangede hjernebarkens signaler, der hang sammen med forsøg på at bevæge talekanalen og udføre handlinger med overkroppen – selv om deltagerne var lammede. 23

Forskerne brugte ikke én generel algoritme til begge opgaver. I stedet trænede de opgavespecifikke dekodere:

• En dekoder koblede hjerneaktiviteten til den tilsigtede tale.
• En anden omsatte signalerne til kommandoer eller bevægelsesbaner for avatarens gestik. 23

Et vigtigt fund var, at hjerneaktiviteten under tale kombineret med gestik ikke blot svarede til en simpel sammenlægning af aktiviteten ved tale alene og gestik alene. Det taler for at træne systemet på naturlige, kombinerede kommunikationsopgaver. Dermed kan avatarens stemme og bevægelser koordineres, frem for at være to uafhængige funktioner. Det tilgængelige materiale dokumenterer det samtidige, multimodale resultat, men giver ikke grundlag for at sætte tal på effekten eller dekodernes præstation. 23

Hvorfor tale og kropssprog betyder noget

Kommunikationshjælpemidler baseret på øjenstyring og tekst-til-tale kan være langsomme og krævende, fordi brugeren typisk vælger bogstaver eller ikoner ét ad gangen. De kan formidle ord, men ikke nødvendigvis den del af samtalen, der ligger i eksempelvis kropsholdning, armbevægelser, betoning eller et nik. 2

Den nye tilgang er derfor tænkt som en måde at genskabe både den verbale og nonverbale del af kommunikationen på samme tid. En avatar, der taler og gestikulerer, kan blandt andet vise en hilsen, pege, understrege et udsagn eller nikke bekræftende parallelt med talen. Teknologien er dog fortsat en forskningsdemonstration og ikke et kommunikationshjælpemiddel, der er klinisk tilgængeligt. 23

Deltagere og opgaver

Studiet omfattede tre personer med både lammelse af talekanalen og lemmerne. 2 Det foreliggende kildemateriale identificerer ikke de enkelte deltageres diagnoser eller årsagerne til lammelsen og beskriver heller ikke den fulde liste over forsøgsopgaver. Det understøtter alene, at deltagerne forsøgte at tale og udføre overkropsgestik, mens systemet afkodede begge dele. 3

Rapporter om forskningsområdet omtaler blandt andet tilstande som slagtilfælde og amyotrofisk lateral sklerose (ALS), men de tilgængelige uddrag giver ikke belæg for at knytte en bestemt årsag til en bestemt deltager.

Den væsentlige begrænsning: Systemet har stadig kabel

Den demonstrerede løsning er kabelforbundet. Elektrodegridet skal være fysisk forbundet med eksternt udstyr til registrering og beregning, hvilket begrænser muligheden for selvstændig brug i hverdagen.

Forskerholdets erklærede udviklingsretning er et fuldt implanterbart, trådløst system. Formålet er at fjerne kablet gennem huden og gøre længerevarende, mere praktisk brug mulig. Kilderne giver ikke grundlag for en tidsplan, en konkret producent eller en regulatorisk status. 23

Bygger videre på UCSF-forskning fra 2023

Arbejdet er en videreudvikling af Chang-holdets tale-neuroprotese fra 2023. I den undersøgelse brugte forskerne et 253-kanals array på den sensorimotoriske hjernebark hos én person med svær lammelse og anarthri – manglende evne til at tale – til at afkode tilsigtede sætninger og styre en avatar. 1

Systemet fra 2023 var rettet mod taleoutput og animation af avatarens ansigt. Det nyere arbejde udvider den samme overordnede kombination af tæt hjernebarkregistrering og AI-afkodning, så også overkropsgestik kan afkodes samtidig med talen. 12