Ett hjärnimplantat tolkar tal och gester samtidigt

Ett forskarlag vid University of California, San Francisco (UCSF) placerade ett högupplöst elektrokortikografi-nät, ECoG, med 253 elektroder på sensorimotoriska hjärnbarken. Det är ett område på hjärnans yta som är centralt för planering av tal och rörelser. När deltagarna försökte prata och göra gester med överkroppen registrerade nätet deras hjärnaktivitet. Maskininlärning omvandlade sedan signalerna till tal och rörelser hos en personligt anpassad virtuell avatar – samtidigt och inom några sekunder. 23

Så fungerade avkodningen

Implantatet fångade upp aktivitet kopplad till försök att röra talorganen och till avsedda rörelser med överkroppen, trots att deltagarna var förlamade. 23

Forskarna använde inte en enda generell modell för all kommunikation. I stället tränades uppgiftsspecifika avkodare:

• en modell kopplade hjärnaktivitet till avsett tal
• en annan kopplade signalerna till gestkommandon och rörelsebanor för avataren. 23

En central observation var att hjärnaktiviteten när tal och gester gjordes tillsammans inte bara motsvarade en enkel summa av aktiviteten vid enbart tal och enbart gester. Därför behövde modellerna tränas på kombinerade, mer naturliga kommunikationsuppgifter. Det gjorde det möjligt att samordna avatarens röst och rörelser, snarare än att behandla dem som två helt fristående funktioner. Underlaget här räcker däremot inte för att ange exakt hur stor denna skillnad var eller för att redovisa detaljerade prestationsmått för modellerna. 23

Varför både ord och kroppsspråk spelar roll

Kommunikationshjälpmedel som bygger på ögonstyrning och talsyntes kan vara långsamma och ansträngande, eftersom användaren ofta måste välja bokstäver eller symboler i följd. De kan förmedla orden, men fångar inte alltid det som uttrycks genom hållning, armrörelser, betoning eller en nick. 2

Med den nya metoden kan avataren exempelvis vinka medan den säger hej, eller nicka för att signalera instämmande. Tanken är att återge både den verbala och den icke-verbala delen av kommunikationen parallellt. 3

Tre deltagare med svår förlamning

Studien omfattade tre personer med förlamning som påverkade både röstorgan och lemmar. 2 Det tillgängliga underlaget specificerar inte varje deltagares diagnos eller orsak till förlamningen, och det redovisar inte heller hela uppgiftslistan i försöken. Det som stöds är att deltagarna försökte tala och göra överkroppsgester medan systemet avkodade båda formerna av avsikt. 3

Fortfarande en forskningsdemonstration

Systemet som har demonstrerats är kabelanslutet: elektrodnätet måste vara fysiskt kopplat till extern utrustning för registrering och beräkningar. Det begränsar möjligheten till självständig användning i vardagen.

Nästa utvecklingssteg som forskarna pekar mot är ett helt implanterbart trådlöst system, vilket skulle kunna ersätta kabeln genom huden och göra kontinuerlig användning mer praktisk. Det finns dock inget tillräckligt underlag här för en tidsplan, uppgifter om tillverkare eller regulatorisk status. 23

Bygger vidare på UCSF:s talneuroprotes från 2023

Arbetet är en vidareutveckling av Chang-gruppens studie från 2023. Då användes också en 253-kanalig ECoG-array hos en person med svår förlamning och anartri – oförmåga att artikulera tal – för att avkoda avsedda meningar och styra en avatar. 1

2023 års system var inriktat på tal och ansiktsanimationer. Den nyare forskningen utvidgar samma grundidé, med tät registrering från hjärnbarken och AI-baserad avkodning, till att samtidigt omfatta överkroppsgester. 12