Ein Hirnimplantat lässt Avatare gleichzeitig sprechen und gestikulieren

Kommunikation besteht nicht nur aus Wörtern: Ein Nicken, eine Begrüßung mit der Hand oder ein Daumen hoch tragen ebenfalls Bedeutung. Ein Forschungsteam der University of California, San Francisco (UCSF) um den Neurochirurgen Edward Chang hat nun gezeigt, dass ein einzelnes Hirnimplantat beabsichtigte Sprache und solche Oberkörpergesten gleichzeitig in die Aktionen eines virtuellen Avatars übersetzen kann. Das ist ein wichtiger Machbarkeitsnachweis, aber noch kein System für den klinischen Alltag. 37

So funktionierte der Versuch

An der Studie nahmen drei Menschen mit ausgeprägten Lähmungen der Sprechmuskulatur und Gliedmaßen teil, unter ihnen Personen mit ALS sowie mit Lähmungen nach einem Hirnstammschlaganfall. Über ihrem sensomotorischen Kortex – einer Hirnregion, die an der Steuerung von Bewegungen beteiligt ist – wurden ECoG-Arrays mit jeweils 253 Elektroden platziert. ECoG steht für Elektrokortikographie: Die Elektroden liegen auf der Hirnoberfläche und erfassen dort elektrische Aktivität. 37

Die Teilnehmenden versuchten, vorgegebene Sätze zu sprechen, Gesten wie Winken oder ein Daumen-hoch-Zeichen auszuführen oder beides zugleich zu tun. Maschinelle Lernverfahren ordneten die dabei aufgezeichneten Aktivitätsmuster den vorgesehenen Sprach- und Bewegungsausgaben zu. 37

Gleichzeitige Kommunikation hat ein eigenes neuronales Muster

Die Daten zeigten, dass Sprechen und Oberkörpergesten zwar unterscheidbare, aber aufeinander abgestimmte Muster der Hirnaktivität erzeugen. Entscheidend war: Wenn Sprache und Geste gleichzeitig beabsichtigt wurden, war das resultierende Signal nicht einfach die Addition der Muster aus reinen Sprach- und reinen Gestenversuchen. Die kombinierte Handlung hatte eigene Kennzeichen. 37

Daraus folgt ein praktischer Punkt für die Software: Sprache und Bewegung können nicht vollständig als voneinander unabhängige Kanäle behandelt werden. Die Decoder müssen die gemeinsame Handlung lernen.

Warum das Training mit kombinierten Aufgaben besser abschnitt

Modelle, die mit Beispielen für gleichzeitig beabsichtigte Sprache und Gestik trainiert wurden, entschlüsselten diese parallelen Handlungen besser als Modelle, die nur einzelne Sprach- oder Bewegungsaufgaben kannten. Bei zwei Teilnehmenden steuerte das System in Echtzeit einen Ganzkörper-Avatar: Die synthetische Stimme und die Oberkörperbewegungen liefen abgestimmt zusammen. 37

Damit könnte etwa ein gesprochenes „Hallo“ zugleich mit einer Winke-Geste oder Zustimmung mit einem Nicken dargestellt werden – zumindest innerhalb des untersuchten Forschungsaufbaus.

Mehr als Buchstaben auswählen

Viele gängige Kommunikationshilfen mit Blicksteuerung funktionieren über die schrittweise Auswahl von Buchstaben oder Menüelementen. Das kann langsam und anstrengend sein. Gespräche vermitteln jedoch auch durch Betonung, Timing, Körperhaltung, Zeigen, Begrüßung und Zustimmung Bedeutung.

Eine Schnittstelle, die diese nonverbalen Signale neben Sprache zurückgeben kann, könnte Interaktionen langfristig direkter, weniger mühsam und sozial ausdrucksstärker machen. Ob sie die Lebensqualität im täglichen Langzeiteinsatz tatsächlich verbessert, ist mit dieser Studie allerdings noch nicht belegt. 37

Was der Ansatz künftig ermöglichen könnte

Die Arbeit deutet an, dass Kommunikations-Neuroprothesen künftig mehr als Worte übertragen könnten: Zustimmung, Nachdruck, Begrüßungen, affektive Körpersprache oder Signale für den Gesprächswechsel. Sie stützt außerdem ein grundlegenderes Ergebnis: Eine einzige kortikale Schnittstelle kann mehrere koordinierte Formen kommunikativer Absicht entschlüsseln. 37

Der jetzige Aufbau war noch per Kabel mit externen Systemen verbunden. Das Team plant eine vollständig implantierbare, drahtlose Variante, die eine dauerhafte Nutzung im Alltag praktikabler machen soll. Sie baut auf einer Nature-Demonstration aus dem Jahr 2023 auf: Damals erzeugte eine Teilnehmerin mit Lähmung nach einem Hirnstammschlaganfall mithilfe kortikaler Signale Text, synthetische Sprache und einen Avatar mit Gesichtsausdrücken. 14