UCSF:s hjärnimplantat tolkar tal och gester samtidigt

Kommunikation handlar om mer än ord. En nickning, en gest med handen eller en axelryckning kan förstärka, nyansera eller helt förändra innebörden av det som sägs. Forskare vid University of California, San Francisco (UCSF) har nu visat ett hjärn-datorgränssnitt, BCI, som kan återge båda delarna samtidigt.

I studien registrerade ett och samma hjärnimplantat aktivitet när tre personer med svår förlamning försökte tala och göra överkroppsgester. Med hjälp av maskininlärning omvandlades signalerna till text och rörelser hos en personligt utformad virtuell avatar, nära nog i realtid. 17

Så fungerade implantatet med 253 elektroder

Systemet bygger på en högupplöst elektrokortikografisk elektrodmatris, ECoG, med 253 elektroder. Den placerades på ytan av den sensorimotoriska hjärnbarken – ett stort område som är kopplat till både talrörelser och rörelser i överkroppen. 17

Deltagarna försökte tala och gestikulera, trots att de inte kunde utföra rörelserna normalt. Implantatet fångade då upp den tillhörande nervaktiviteten. Maskininlärningsmodeller översatte signalerna till avsett tal och avatarens rörelser, så att de två uttryckssätten kunde ske parallellt i stället för att styras var för sig. 14

Forskarna identifierade signaler kopplade till talrelaterade mun- och ansiktsrörelser samt till gester som att nicka, rycka på axlarna och knyta näven. För två av deltagarna användes parallell avkodning av tal och gester för att styra avataren. 7

Därför behövdes separata avkodare

Tal och gester samspelar, men forskarna behandlade dem inte som ett enda, allmänt motoriskt kommando. I stället användes uppgiftsspecifika avkodare för det avsedda talet respektive rörelserna.

En viktig observation var att hjärnsignalerna vid kombinerat tal och gest inte bara tycktes vara summan av signalerna från de två aktiviteterna var för sig. Genom träning på kombinerade kommunikationsuppgifter kunde systemet skapa samordnade uttryck: avataren kunde säga det deltagaren avsåg och samtidigt göra en passande överkroppsgest. Det tillgängliga underlaget räcker dock inte för att självständigt bedöma storleken på denna icke-additiva effekt eller jämföra avkodarnas resultat för alla uppgifter. 147

Mer än text på en skärm

Många hjälpmedel för kommunikation bygger på att användaren väljer bokstäver, ord eller symboler ett i taget. Sådana system kan vara mycket viktiga, men den sekventiella processen kan göra samtal långsamma och ansträngande.

I UCSF:s tidigare arbete med talneuroproteser nådde ett experimentsystem nästan 80 ord per minut i textavkodning, jämfört med omkring 14 ord per minut med en deltagares befintliga kommunikationshjälpmedel. 28

Den nya studien riktar sig också mot en annan begränsning: text förmedlar inte hela den sociala innebörden i ett samtal. Gester kan signalera instämmande, betoning, hälsning eller riktning samtidigt som någon talar. En avatar som både talar och rör sig är därför tänkt att göra kommunikationen mer uttrycksfull – inte bara snabbare att läsa. 134

Deltagare och vad försöket faktiskt visar

Forskarna registrerade nervaktivitet från tre deltagare med förlamning i talorgan och lemmar. De testade försök till tal och överkroppsrörelser och, för två deltagare, samtidig avkodning av tal och gester. 7

De tillhandahållna källorna redovisar inte säkert orsaken till varje deltagares förlamning eller hela försöksupplägget person för person. Rapporter om den bredare patientgruppen nämner bland annat stroke och amyotrofisk lateralskleros, ALS, men det går inte att tillskriva någon enskild deltagare en diagnos utan studiens fullständiga kliniska uppgifter. 36

Fortfarande en forskningsprototyp

Detta är ett undersökande BCI-system, inte en konsumentprodukt eller en etablerad behandling. Den visade lösningen är kabelansluten: den implanterade elektrodrutan måste kopplas till extern utrustning för registrering och beräkning. Det begränsar möjligheten till självständig användning i vardagen.

Forskarna siktar på en helt implanterbar, trådlös version som skulle kunna eliminera kabeln genom huden. I det tillgängliga underlaget finns däremot ingen tidsplan, ingen angiven tillverkare och inget fastställt regulatoriskt godkännande. Det är alltså för tidigt att betrakta systemet som en tillgänglig medicinsk produkt.

Bygger vidare på UCSF:s avatarforskning från 2023

Det nya arbetet följer en UCSF-ledd studie i Nature från 2023. Där använde en deltagare med svår förlamning och anartri – oförmåga att artikulera tal – en högupplöst ECoG-matris med 253 kanaler för att avkoda avsedda meningar till text, syntetiskt tal och ansiktsanimationer hos en avatar. 33

Den tidigare lösningen fokuserade på tal och ansiktsuttryck. Den nya studien utvidgar samma grundidé – registrering från hjärnbarkens yta och AI-baserad avkodning – till samtidig, icke-verbal kommunikation med överkroppen. Det är ett betydelsefullt steg mot neuroproteser som kan återställa både de verbala och icke-verbala delarna av ett samtal, men mycket forskning återstår innan tekniken kan bli rutin i vården. 12434