Slik dekodet et hjerneimplantat tale og gester på samme tid

Forskere ved University of California, San Francisco (UCSF) la et ECoG-array med høy tetthet og 253 elektroder på sensorimotorisk hjernebark. Dette er et område som er sentralt for planlegging av tale og bevegelser. Der registrerte de hjerneaktivitet mens deltakerne forsøkte å snakke og gjøre gester med overkroppen. Maskinlæring oversatte signalene i løpet av sekunder til samtidig tale og bevegelser hos en personlig animert avatar. 23

Slik fungerte løsningen

• Implantatet fanget opp hjerneaktivitet knyttet til forsøk på bevegelser i taleapparatet og forsøk på handlinger med overkroppen, selv om deltakerne var lammet. 23
• I stedet for én generell modell trente forskerne separate, oppgavespesifikke dekodere. Én dekoder koblet hjerneaktiviteten til tilsiktet tale, mens en annen oversatte den til gestkommandoer eller bevegelsesmønstre for avataren. 23
• Et sentralt funn var at hjerneaktiviteten ved kombinert tale og gest ikke bare var summen av aktiviteten som ble sett ved tale alene og gest alene. Det ga grunnlag for å trene systemet på mer naturlige kommunikasjonssituasjoner, slik at avatarens stemme og bevegelser kunne samordnes. Det foreliggende materialet gir ikke nok detaljer til å tallfeste denne forskjellen eller dekodernes ytelse. 23

Hvorfor tale alene ikke er hele kommunikasjonen

Vanlige tekst-til-tale-løsninger med øyestyring kan være langsomme og krevende, fordi brukeren må velge bokstaver eller ikoner etter tur. De kan formidle ord, men ikke nødvendigvis mye av det som ellers uttrykkes gjennom holdning, armbevegelser og betoning. Den nye tilnærmingen skal gjenopprette både den verbale og den ikke-verbale delen av kommunikasjonen samtidig. 2

En avatar som både snakker og gestikulerer, kan i prinsippet formidle blant annet trykk, enighet og peking parallelt med talen. Systemet er imidlertid en forskningsdemonstrasjon, ikke et kommunikasjonshjelpemiddel som er klinisk tilgjengelig i dag. 23

Deltakere og oppgaver

Studien omfattet tre personer med både lammelse i taleapparatet og i lemmene. 2

Kildematerialet oppgir ikke hver deltakers diagnose eller årsaken til lammelsen, og det gir heller ingen full oversikt over forsøksoppgavene. Det dokumenterer at deltakerne forsøkte å snakke og gjøre gester med overkroppen mens systemet dekodet begge deler. 3

Rapporter knyttet til forskningen beskriver at denne typen lammelse kan forekomme blant annet etter hjerneslag eller ved amyotrofisk lateralsklerose (ALS). De mest autoritative utdragene som er oppgitt her, gjør det likevel ikke mulig å knytte en bestemt årsak til en bestemt deltaker.

Foreløpig begrensning: Kabelen

Den demonstrerte løsningen er kablet. Elektrodenettet må være fysisk koblet til eksternt utstyr for registrering og databehandling, noe som begrenser selvstendig bruk i hverdagen.

Den uttalte utviklingsretningen er et fullt implanterbart og trådløst system, som kan fjerne kabelen gjennom huden og legge til rette for mer praktisk, kontinuerlig bruk. Kildene oppgir ikke noen tidsplan, produsent eller regulatorisk status.

Bygger videre på UCSFs taleprotesearbeid fra 2023

Arbeidet bygger videre på Chang-gruppens Nature-studie fra 2023. Der brukte forskerne et ECoG-array med 253 kanaler i sensorimotorisk hjernebark hos én person med alvorlig lammelse og anarti – manglende evne til å artikulere tale – for å dekode tilsiktede setninger og styre en avatar. 1

2023-systemet var rettet mot tale og animasjon av avatarens ansikt. Det nyere arbeidet utvider den samme overordnede tilnærmingen med tett elektroderegistrering fra hjernebarken og KI-basert dekoding, slik at også gester med overkroppen kan dekodes samtidig med talen. 12