Hersenimplant zet spraak én gebaren van verlamde mensen tegelijk om in een avatar

Onderzoekers van de University of California, San Francisco (UCSF) plaatsten een dicht raster met 253 elektroden op de sensomotorische hersenschors. Dit hersengebied speelt een rol bij het plannen van spraak en beweging. Terwijl deelnemers met ernstige verlamming probeerden te spreken en gebaren met hun bovenlichaam te maken, registreerde het implantaat hun hersenactiviteit. AI-systemen zetten die signalen binnen seconden tegelijk om in gesproken tekst en bewegingen van een gepersonaliseerde virtuele avatar. 23

Zo werkte de hersen-computerinterface

• Het implantaat gebruikte elektrocorticografie (ECoG): oppervlakte-elektroden die activiteit van de hersenschors registreren. Het ving signalen op die samenhingen met pogingen om het spraakkanaal te bewegen en met pogingen tot bewegingen van het bovenlichaam, ondanks de verlamming. 23
• De onderzoekers trainden niet één algemene decoder, maar afzonderlijke decoders per taak. Eén machine-learningmodel koppelde hersenactiviteit aan bedoelde spraak; een ander vertaalde signalen naar gebarencommando's of bewegingskenmerken voor de avatar. 23
• Een belangrijke bevinding was dat hersenactiviteit bij gelijktijdige spraak en gebaren niet simpelweg de optelsom is van activiteit bij alleen spreken en alleen gebaren. Daarom was training met gecombineerde, natuurlijkere communicatietaken nodig. Zo konden stem en bewegingen van de avatar op elkaar worden afgestemd. De beschikbare informatie specificeert niet hoe groot dit effect was of hoe goed de decoders precies presteerden. 23

Waarom spraak én lichaamstaal belangrijk zijn

Veel bestaande communicatiesystemen werken bijvoorbeeld met oogbesturing: gebruikers kiezen dan één voor één letters of pictogrammen. Dat kan traag en vermoeiend zijn. Bovendien brengen woorden alleen niet alle betekenis over die normaal gesproken in houding, armbewegingen en nadruk zit. 2

De avatar kan beide communicatiekanalen combineren. Iemand zou bijvoorbeeld kunnen zwaaien tijdens een begroeting, knikken om instemming te tonen of een punt extra nadruk geven terwijl de gesproken boodschap wordt weergegeven. Het gaat nadrukkelijk nog om een onderzoeksdemonstratie, niet om een klinisch beschikbaar hulpmiddel. 23

Deelnemers en beperkingen

Aan de studie deden drie mensen mee met verlamming van zowel het spraakkanaal als de ledematen. De aangeleverde bronnen vermelden niet per deelnemer de medische oorzaak van de verlamming of het volledige overzicht van uitgevoerde taken. Wel bevestigen ze dat de deelnemers probeerden te spreken en gebaren met het bovenlichaam te maken, terwijl beide tegelijk werden gedecodeerd. 23

De huidige opstelling is bedraad: het elektroderaster moet fysiek worden aangesloten op externe apparatuur voor registratie en verwerking. Dat beperkt zelfstandig dagelijks gebruik. De beoogde volgende stap is een volledig implanteerbaar draadloos systeem, zodat de kabel door de huid kan verdwijnen. Over planning, fabrikant of toelatingsstatus geven de beschikbare bronnen geen uitsluitsel.

Voortbouwend op eerder UCSF-onderzoek

Het nieuwe werk bouwt voort op een UCSF-studie uit 2023 van het team rond Edward Chang. Daarin werd bij één persoon met ernstige verlamming en anarthrie — het niet kunnen articuleren van spraak — een ECoG-array met 253 kanalen gebruikt om bedoelde zinnen te decoderen en een avatar aan te sturen. 1

Dat eerdere systeem was gericht op spraakuitvoer en gezichtsanimatie van een avatar. De nieuwe aanpak breidt hetzelfde algemene principe van dicht opeen geplaatste hersenelektroden en AI-decodering uit naar gelijktijdige communicatie via spraak en gebaren van het bovenlichaam. 12