Hjerneimplantat fra UCSF tolker tale og gester samtidig

Kommunikasjon handler om langt mer enn ord. Vi nikker for å vise enighet, trekker på skuldrene når vi er usikre og bruker kroppsspråk for å understreke det vi sier. Forskere ved University of California, San Francisco (UCSF) har nå vist en hjerne–maskin-grensesnittløsning som kan hente ut både tale og slike bevegelser samtidig.

I studien fikk tre personer med alvorlig lammelse i taleorganer og lemmer en personlig digital avatar til å snakke og utføre overkroppsgester. Systemet tolket hjerneaktivitet mens deltakerne forsøkte å snakke og bevege seg, og omgjorde signalene til tekst og avatarbevegelser i nær sanntid. 17

Slik fungerte implantatet med 253 elektroder

Forskerne brukte en elektrokortikografi-brikke (ECoG) med 253 elektroder. Den ble plassert på overflaten av den sensorimotoriske hjernebarken, et stort område som er knyttet til både talebevegelser og bevegelser i overkroppen. 17

Når deltakerne forsøkte å snakke eller gjøre bevegelser de ikke lenger kunne utføre normalt, registrerte implantatet tilhørende nervesignaler. Maskinlæringsmodeller oversatte deretter signalene til taleutdata og handlinger for avataren. Dermed kunne avataren snakke og bevege seg parallelt, i stedet for at brukeren måtte styre én kommunikasjonsform om gangen. 14

Forskerne registrerte signaler knyttet til talerelaterte munn- og ansiktsbevegelser, samt gester som å nikke, trekke på skuldrene og knytte neven i en jubelbevegelse. Hos to av deltakerne ble tale og gester dekodet parallelt for å styre avataren. 7

Tale og kroppsspråk må tolkes hver for seg – og sammen

Tale og gester henger tett sammen, men forskerne behandlet dem ikke som én generell bevegelseskommando. De trente oppgavespesifikke dekodere for det språklige innholdet og de planlagte bevegelsene.

Et viktig funn var at hjerneaktiviteten under samtidig tale og gest ikke bare så ut til å være summen av aktivitet fra tale alene og bevegelse alene. Trening på sammensatte kommunikasjonsoppgaver gjorde det mulig å skape koordinerte utdata: Avataren kunne formidle den tiltenkte talen mens den utførte en relevant overkroppsbevegelse. Kildematerialet gir imidlertid ikke tilstrekkelige detaljer til å vurdere størrelsen på denne effekten eller sammenligne ytelsen mellom alle oppgavene uavhengig. 147

Mer enn tekst på en skjerm

Mange hjelpemidler for alternativ og supplerende kommunikasjon bygger på at brukeren velger bokstaver, ord eller symboler etter tur. Slike løsninger kan være svært viktige, men den trinnvise utvelgelsen kan gjøre samtaler langsomme og krevende.

UCSFs tidligere arbeid med talenevroproteser illustrerte forskjellen: Én deltakers eksisterende kommunikasjonsenhet ga rundt 14 ord i minuttet, mens det eksperimentelle systemet tolket tekst med nær 80 ord i minuttet. 28

Den nye løsningen forsøker også å dekke noe tekst alene ikke formidler: den sosiale meningen i en samtale. En gest kan uttrykke hilsen, retning, vektlegging eller enighet samtidig med det som blir sagt. Målet med en snakkende og bevegelig avatar er derfor ikke bare å få opp tekst raskere, men å gjøre uttrykket mer levende og nyansert. 134

Tre deltakere – men begrenset klinisk detaljinformasjon

Forskerne registrerte hjerneaktivitet fra tre deltakere med lammelse i taleorganer og lemmer. De testet forsøk på tale og overkroppsbevegelser, og hos to deltakere også samtidig dekoding av tale og gester. 7

Det tilgjengelige kildematerialet gir ikke en pålitelig beskrivelse av den enkelte deltakerens diagnose, årsak til lammelsen eller en fullstendig forsøksprotokoll. Omtale av den bredere pasientgruppen nevner blant annet hjerneslag og amyotrofisk lateral sklerose (ALS), men dette kan ikke brukes til å tilskrive en bestemt diagnose til noen av deltakerne uten mer klinisk informasjon fra studien. 36

Fortsatt et kablet forskningssystem

Dette er en tidlig, utprøvende hjerne–maskin-grensesnittløsning – ikke et medisinsk produkt som er tilgjengelig i vanlig behandling. Oppsettet som ble demonstrert, er kablet: elektrodebrikken på hjernebarken må kobles til eksternt utstyr for registrering og databehandling. Det begrenser muligheten for selvstendig bruk i hverdagen.

Det uttalte utviklingsmålet er en fullt implanterbar, trådløs versjon som kan fjerne kabelen gjennom huden. Kildene oppgir ingen tidsplan, produsent eller regulatorisk godkjenning. Det er derfor for tidlig å omtale systemet som en tilgjengelig behandling.

Videreføring av UCSFs avatarforskning fra 2023

Det nye arbeidet bygger på en UCSF-ledet studie publisert i Nature i 2023. Der brukte én deltaker med alvorlig lammelse og anartri – manglende evne til å artikulere tale – en høyoppløselig ECoG-brikke med 253 kanaler. Systemet tolket tiltenkte setninger til tekst, syntetisk tale og ansiktsanimasjon for en avatar. 33

Mens 2023-systemet handlet om tale og ansiktsuttrykk, utvider den nye studien samme grunnidé – avlesning på hjernebarkens overflate kombinert med KI-basert dekoding – til samtidig kommunikasjon med overkroppsgester. Det er et betydelig skritt mot nevroproteser som kan gjenskape både det verbale og det ikke-verbale i en samtale, men det gjenstår fortsatt mye forskning før teknologien kan tas i rutinemessig klinisk bruk. 12434