Eén hersenimplant laat avatars tegelijk spreken én gebaren

Een enkel hersenimplantaat kan niet alleen woorden, maar ook gebaren oppikken die iemand bedoelt te maken. Dat is de kern van een nieuwe proef van onderzoekers onder leiding van neurochirurg Edward Chang van de University of California, San Francisco (UCSF). Bij twee deelnemers kon een digitale avatar daardoor in real time tegelijk spreken en met het bovenlichaam bewegen. Het gaat nadrukkelijk om een technisch bewijs dat het kan — niet om een hulpmiddel dat al klaar is voor dagelijks klinisch gebruik. 37

Zo las het systeem spraak en gebaren

Aan het onderzoek deden drie mensen mee met ernstige verlamming van de spraakorganen en ledematen, onder wie mensen met ALS en met een beroerte in de hersenstam. Over de sensomotorische hersenschors — het gebied dat betrokken is bij de aansturing van bewegingen — werd een dunne ECoG-array geplaatst met 253 elektroden. ECoG, voluit elektrocorticografie, meet elektrische activiteit direct aan het oppervlak van de hersenen. 37

De deelnemers probeerden zinnen uit te spreken, gebaren te maken zoals zwaaien of een duim opsteken, of beide handelingen tegelijk uit te voeren. Machine-learningmodellen leerden vervolgens de gemeten hersenactiviteit te koppelen aan spraakuitvoer en aan de bewegingen van een avatar. 37

Tegelijk communiceren heeft een eigen hersensignatuur

Spraak en gebaren bleken in de hersenschors te onderscheiden, maar wel gecoördineerde activiteitspatronen op te leveren. Belangrijk is dat de activiteit bij een combinatie van spreken en gebaren niet simpelweg de optelsom was van een spraakproef en een gebarenproef. Het gelijktijdige communicatiegedrag had een eigen patroon. 37

Daarom volstond het niet om spraak en beweging als twee volledig losse kanalen te behandelen. Decoders die voorbeelden hadden gezien waarin deelnemers tegelijk probeerden te spreken en te gebaren, konden die gecombineerde acties beter ontcijferen dan modellen die alleen op afzonderlijke taken waren getraind. 37

Waarom dit natuurlijker kan aanvoelen dan letter voor letter kiezen

Veel mensen die niet kunnen spreken, gebruiken oogbesturing om tekens of keuzes op een scherm één voor één te selecteren. Dat kan effectief zijn, maar is vaak traag en vermoeiend. In een gewoon gesprek zit betekenis ook in een knikje, een begroeting met de hand, nadruk, houding en het moment waarop iemand reageert.

Als een communicatieprothese naast woorden ook zulke non-verbale signalen kan teruggeven, zou dat gesprekken vlotter en expressiever kunnen maken. De huidige resultaten bewijzen echter nog niet dat het hulpmiddel in het dagelijkse leven op lange termijn minder inspanning kost of de kwaliteit van leven verbetert; ze tonen vooral aan dat de techniek haalbaar is. 37

Meer teruggeven dan alleen woorden

De proef wijst erop dat toekomstige communicatiehulpmiddelen mogelijk ook instemming, nadruk, begroeting, affectieve lichaamstaal en beurtwisseling in een gesprek kunnen helpen herstellen. Voor mensen die niet kunnen spreken of bewegen, zou communicatie dan minder beperkt zijn tot tekst alleen. Tegelijk laat het onderzoek zien dat één corticale interface meerdere, onderling afgestemde vormen van communicatie kan decoderen. 37

Volgende stap: geen kabel meer

De opstelling in deze demonstratie was nog bekabeld. Het team werkt aan een volledig implanteerbaar, draadloos systeem, dat langdurig en dagelijks gebruik praktischer moet maken doordat er geen externe kabel meer nodig is. Dat bouwt voort op de Nature-demonstratie uit 2023, waarin signalen van een deelnemer met verlamming na een hersenstamberoerte werden vertaald naar tekst, synthetische spraak en een gezichtsavatar met expressies. 14