Ein Hirnimplantat lässt Avatare sprechen und gestikulieren

Kommunikation besteht nicht nur aus Worten. Wir nicken, zucken mit den Schultern oder unterstreichen eine Aussage mit einer Geste. Forschende der University of California, San Francisco (UCSF), haben nun eine Hirn-Computer-Schnittstelle – kurz BCI – vorgestellt, die beide Ebenen zugleich erfassen soll: beabsichtigte Sprache und Gesten des Oberkörpers.

In der Studie zeichnete ein einzelnes Implantat Hirnaktivität von drei Menschen mit schweren Lähmungen auf. Maschinelles Lernen übersetzte die Signale nahezu in Echtzeit in Text und Bewegungen eines personalisierten virtuellen Avatars. So konnte der Avatar gleichzeitig sprechen und gestikulieren. 17

253 Elektroden auf der Hirnoberfläche

Zum Einsatz kam ein hochdichtes ECoG-Elektrodenfeld mit 253 Elektroden. ECoG steht für Elektrokortikografie: Dabei werden elektrische Signale direkt an der Oberfläche der Großhirnrinde gemessen. Das Feld lag über dem sensomotorischen Kortex, einem Areal, das unter anderem an Sprechbewegungen und Bewegungen des Oberkörpers beteiligt ist. 17

Die Teilnehmenden versuchten zu sprechen und Gesten auszuführen, obwohl sie diese Bewegungen nicht in der üblichen Weise ausführen konnten. Das Implantat erfasste die damit verbundenen neuronalen Muster. KI-Modelle übertrugen sie anschließend in Text und Avataraktionen – nicht nacheinander, sondern parallel. 14

Erfasst wurden Signale für verschiedene Bewegungsarten: für sprachbezogene Bewegungen von Mund und Gesicht ebenso wie für Gesten des Oberkörpers, darunter Nicken, Schulterzucken und das Heben einer Faust. Bei zwei Teilnehmenden steuerte das System Sprache und Gestik des Avatars gleichzeitig. 7

Warum Sprache und Gestik eigene Decoder brauchten

Sprache und Gestik gehören im Gespräch zusammen, sind im Gehirn aber offenbar nicht einfach ein einziges, allgemeines Bewegungssignal. Das Team setzte deshalb auf aufgabenspezifische Decoder: getrennte Lernverfahren für den beabsichtigten sprachlichen Inhalt und für die Bewegungsausgabe.

Wichtig ist dabei eine Beobachtung der Studie: Die Hirnsignale beim gleichzeitigen Sprechen und Gestikulieren waren nicht bloß die Summe der Signale aus den jeweiligen Einzelaufgaben. Das Training mit kombinierten Kommunikationsaufgaben ermöglichte daher eine abgestimmte Ausgabe – etwa wenn der Avatar eine Aussage spricht und zugleich mit einer passenden Oberkörperbewegung betont. Die vorliegenden Berichte belegen diese multimodale Demonstration, liefern aber keine ausreichenden Details, um die Größe dieses nicht-additiven Effekts oder die Leistung der Decoder in allen Aufgaben unabhängig zu bewerten. 147

Mehr als Text auf einem Bildschirm

Viele assistive Kommunikationssysteme beruhen darauf, Buchstaben, Wörter oder Symbole einzeln auszuwählen. Das kann sehr hilfreich sein, macht Dialoge aber häufig langsam und anstrengend. In früherer UCSF-Forschung erzeugte das vorhandene Kommunikationsgerät einer Teilnehmerin etwa 14 Wörter pro Minute; das experimentelle System entschlüsselte Text dagegen mit fast 80 Wörtern pro Minute. 28

Der neue Ansatz zielt zudem auf eine andere Lücke: Reiner Text vermittelt nicht die gesamte soziale Bedeutung eines Gesprächs. Gesten können Zustimmung, Begrüßung, Betonung oder eine Richtung signalisieren. Ein sprechender und sich bewegender Avatar soll Kommunikation daher ausdrucksstärker machen – nicht lediglich Text schneller anzeigen. 134

Wer an der Studie teilnahm

Die Forschenden zeichneten Hirnaktivität von drei Teilnehmenden mit Lähmungen des Stimmapparats und der Gliedmaßen auf. Untersucht wurden beabsichtigtes Sprechen und Bewegungen des Oberkörpers; bei zwei Personen auch die parallele Entschlüsselung von Sprache und Gestik. 7

Die bereitgestellten Quellen enthalten keine verlässliche Aufschlüsselung der individuellen Ursachen der Lähmungen und kein vollständiges Studienprotokoll. Berichte zur betroffenen Personengruppe nennen unter anderem Schlaganfälle und amyotrophe Lateralsklerose (ALS). Daraus lässt sich jedoch keine Diagnose für einzelne Studienteilnehmende ableiten. 36

Noch kein Produkt für den Alltag

Die BCI ist ein Forschungsaufbau, kein zugelassenes Medizinprodukt. Das demonstrierte System ist kabelgebunden: Das implantierte Elektrodenfeld muss mit externer Aufzeichnungs- und Rechenhardware verbunden werden. Das schränkt eine selbstständige Nutzung im Alltag erheblich ein.

Als Entwicklungsziel nennen die Forschenden eine vollständig implantierbare drahtlose Version, die das Kabel durch die Haut überflüssig machen könnte. Einen Zeitplan, einen Hersteller oder einen Zulassungsstatus geben die vorliegenden Quellen jedoch nicht her.

Anschluss an die UCSF-Studie von 2023

Die neue Arbeit knüpft an eine 2023 veröffentlichte, von UCSF geleitete Nature-Studie an. Damals nutzte eine Person mit schwerer Lähmung und Anarthrie – also dem Verlust der Fähigkeit, Laute artikuliert zu bilden – ein hochdichtes ECoG-Feld mit 253 Kanälen. Das System übersetzte beabsichtigte Sätze in Text, synthetisierte Sprache und steuerte die Mimik eines Avatars. 33

Während die frühere Neuroprothese Sprache und Gesichtsausdruck in den Mittelpunkt stellte, erweitert die neue Studie den Ansatz um gleichzeitige Gesten des Oberkörpers. Das ist ein wichtiger Schritt hin zu Neuroprothesen, die verbale und nonverbale Bestandteile eines Gesprächs gemeinsam wiederherstellen sollen – bis zu einem routinemäßig einsetzbaren klinischen System ist es allerdings noch ein weiter Forschungsweg. 12434