UCSF-implantat aflæser tale og kropssprog på samme tid

Kommunikation består ikke kun af ord. Et nik, et skuldertræk eller en håndbevægelse kan ændre betydningen af det sagte. Forskere ved University of California, San Francisco (UCSF) har nu vist et hjerne-computer-interface, der kan afkode både tiltænkt tale og overkropsbevægelser samtidig hos personer med svær lammelse. Outputtet blev vist som tekst og som bevægelser hos en personlig, animeret avatar. 17

Sådan fungerede implantatet

Systemet bruger et højopløseligt ECoG-array med 253 elektroder. ECoG står for elektrokortikografi: elektroderne ligger på hjernens overflade og registrerer elektrisk aktivitet. Arrayet var placeret over den sensorimotoriske hjernebark, et stort område med signaler knyttet til både talebevægelser og bevægelser i overkroppen. 17

Deltagerne forsøgte at tale og udføre bevægelser, selv om lammelsen forhindrede dem i at gøre det normalt. Maskinlæringsmodeller oversatte de tilhørende hjernesignaler til tekst og avatarbevægelser, så tale og gestik kunne komme på samme tid frem for at være to adskilte styringsformer. 14

Forskerne fandt signaler for blandt andet mund- og ansigtsbevægelser relateret til tale samt bevægelser som at nikke, trække på skuldrene og pumpe med en knyttet næve. Hos to deltagere blev tale og gestik afkodet parallelt for at styre avataren. 7

Separate afkodere gav plads til naturlig samordning

Tale og gestik hænger sammen, men blev ikke behandlet som én generel motorisk kommando. Forskerne anvendte opgavespecifikke afkodere til henholdsvis verbalt indhold og bevægelse.

Det er væsentligt, fordi hjerneaktiviteten under samtidig tale og gestik ifølge studiet ikke blot svarede til en simpel sammenlægning af signalerne fra hver opgave for sig. Træning på kombinerede kommunikationsopgaver gjorde det derfor muligt at koordinere outputtet: Avataren kunne sige det tiltænkte og samtidig udføre en passende bevægelse. Det tilgængelige materiale dokumenterer demonstrationen af samtidig, multimodal kommunikation, men giver ikke grundlag for selvstændigt at vurdere størrelsen af denne ikke-additive effekt eller sammenligne ydeevnen på tværs af alle opgaver. 147

Hvorfor en avatar kan være mere end tekst på en skærm

Mange hjælpemidler til kommunikation bygger på, at brugeren vælger bogstaver, ord eller symboler ét ad gangen. De kan være afgørende redskaber, men den sekventielle betjening kan gøre samtaler langsomme og krævende.

I UCSF's tidligere arbejde producerede en deltagers eksisterende kommunikationsenhed omtrent 14 ord i minuttet. Det eksperimentelle system kunne derimod afkode tekst med næsten 80 ord i minuttet. 28

Det nye system retter sig også mod en anden begrænsning: Tekst alene bærer ikke hele den sociale betydning i en samtale. Gestik kan udtrykke enighed, understregning, hilsen eller retning parallelt med talen. Målet med en talende og bevægende avatar er derfor ikke kun at vise ord hurtigere, men at gøre kommunikationen mere udtryksfuld. 134

Tre deltagere – men begrænsede kliniske detaljer

Forskerne registrerede hjerneaktivitet fra tre deltagere med lammelse af taleorganer og lemmer. De testede forsøg på tale og overkropsbevægelser, og hos to af deltagerne testede de samtidig afkodning af tale og gestik. 7

De tilgængelige kilder giver ikke en pålidelig, deltager-for-deltager-beskrivelse af årsagen til lammelsen eller af hele forsøgsprotokollen. Omtaler af den bredere patientgruppe nævner blandt andet slagtilfælde og ALS, men det kan ikke bruges til at tilskrive en bestemt diagnose til den enkelte deltager uden de fulde kliniske oplysninger. 36

Stadig et forskningsforsøg

Der er tale om et eksperimentelt hjerne-computer-interface, ikke et produkt, der er klar til almindelig brug. Den viste opsætning er kablet: Det implanterede elektrodearray skal forbindes fysisk med eksternt udstyr til registrering og beregning. Det begrænser muligheden for selvstændig brug i hverdagen.

Målet er en fuldt implanterbar, trådløs version, som kan fjerne kablet gennem huden. Der er dog ingen tidsplan, producent eller regulatorisk godkendelsesstatus i det tilgængelige materiale. Det er derfor for tidligt at betragte systemet som et tilgængeligt medicinsk hjælpemiddel.

Udbygger UCSF's avatar-forskning fra 2023

Det nye arbejde følger op på et UCSF-ledet studie i Nature fra 2023. Her brugte en deltager med svær lammelse og anarthri – manglende evne til at artikulere tale – et ECoG-array med 253 kanaler til at afkode tiltænkte sætninger til tekst, syntetisk tale og ansigtsanimation hos en avatar. 33

Det tidligere system fokuserede på tale og ansigtsudtryk. Den nye undersøgelse udvider den overordnede tilgang med registrering på hjernebarkens overflade og AI-baseret afkodning til også at omfatte overkroppens gestik – og til at gøre det samtidig med tale. Det er et skridt mod neuroproteser, der kan genskabe både den verbale og nonverbale del af en samtale, men der kræves fortsat betydelig forskning før rutinemæssig klinisk anvendelse. 12434