UCSF-Team decodiert Sprache und Gesten parallel aus Hirnsignalen

Forschende der University of California, San Francisco (UCSF) haben ein hochdichtes ECoG-Array mit 253 Elektroden auf der Oberfläche des sensomotorischen Kortex platziert. Diese Hirnregion ist an der Planung von Sprechen und Bewegungen beteiligt. Während Menschen mit schwerer Lähmung versuchten zu sprechen und Gesten mit dem Oberkörper auszuführen, zeichnete das System ihre neuronale Aktivität auf. KI-Systeme übersetzten die Signale innerhalb von Sekunden gleichzeitig in Sprach- und Gestenausgaben für einen personalisierten virtuellen Avatar. 23

So funktionierte das System

• Das Implantat erfasste Hirnaktivität, die mit beabsichtigten Bewegungen des Vokaltrakts und beabsichtigten Oberkörperbewegungen verbunden war – obwohl die Teilnehmenden diese Bewegungen wegen ihrer Lähmung nicht ausführen konnten. 23
• Statt von einer einheitlichen Repräsentation für alle Kommunikationsformen auszugehen, trainierte das Team getrennte, auf die jeweilige Aufgabe zugeschnittene Decoder. Ein Decoder ordnete die Signale der beabsichtigten Sprache zu; ein anderer setzte sie in Gestenbefehle beziehungsweise Bewegungsabläufe des Avatars um. 23
• Zentral war die Beobachtung, dass die neuronale Aktivität beim gleichzeitigen Sprechen und Gestikulieren nicht einfach der Summe der Aktivität bei Sprache allein und Gesten allein entsprach. Das spricht dafür, die Systeme mit kombinierten, natürlicheren Kommunikationsaufgaben zu trainieren. So lassen sich Stimme und Bewegung des Avatars koordiniert ausgeben, statt sie unabhängig voneinander zusammenzufügen. Die vorliegenden Angaben belegen das gleichzeitige multimodale Ergebnis, reichen aber nicht aus, um diese Nicht-Additivität oder die Decoderleistung zahlenmäßig zu beziffern. 23

Warum das relevant sein könnte

Bisherige Kommunikationshilfen mit Blicksteuerung und Sprachausgabe können langsam und anstrengend sein, weil Buchstaben oder Symbole nacheinander ausgewählt werden müssen. Sie vermitteln Worte, aber oft nicht die nonverbalen Anteile eines Gesprächs – etwa Betonung, Haltung, Armbewegungen oder Zeigegesten. Der neue Ansatz soll beide Kanäle parallel wiederherstellen. 2

Ein sprechender und gestikulierender Avatar könnte kommunikative Absichten natürlicher vermitteln: etwa Begrüßungen mit Winken, Zustimmung durch Nicken, Betonung oder Zeigen. Es handelt sich jedoch um eine Forschungsdemonstration und nicht um ein bereits klinisch verfügbares Kommunikationsgerät. 23

Teilnehmende und Aufgaben

An der Studie nahmen drei Menschen mit Lähmungen sowohl des Vokaltrakts als auch der Gliedmaßen teil. 2

Die bereitgestellten Quellen nennen weder für jede Person eine konkrete Diagnose oder Ursache der Lähmung noch eine vollständige Liste der Versuchsaufgaben. Belegt ist, dass die Teilnehmenden Sprache und Oberkörpergesten beabsichtigten, während das System beides decodierte. 3

Berichte im Umfeld der Studie nennen für diese Patientengruppe unter anderem Schlaganfälle und amyotrophe Lateralsklerose (ALS). Aus den vorliegenden besonders belastbaren Auszügen lässt sich jedoch keiner einzelnen Person eine bestimmte Ursache zuordnen.

Noch kabelgebunden – nächstes Ziel ist eine Funklösung

Das bisher demonstrierte System ist kabelgebunden: Das Elektrodenraster im Kortex benötigt eine physische Verbindung zu externer Aufzeichnungs- und Rechenhardware. Das begrenzt die selbstständige Nutzung im Alltag.

Als nächster Entwicklungsschritt ist ein vollständig implantierbares Funksystem vorgesehen. Es soll das Kabel durch die Haut überflüssig machen und eine praktischere, kontinuierliche Nutzung ermöglichen. Einen Zeitplan, einen Gerätehersteller oder einen Zulassungsstatus liefern die vorliegenden Quellen nicht.

Aufbauend auf der UCSF-Arbeit von 2023

Die neue Arbeit erweitert die 2023 veröffentlichte Sprach-Neuroprothese des Teams um Edward Chang. Damals verwendete das Team bei einer Person mit schwerer Lähmung und Anarthrie – dem Verlust der Fähigkeit, verständlich zu artikulieren – ein 253-Kanal-Array im sensomotorischen Kortex, um beabsichtigte Sätze zu decodieren und einen Avatar zu steuern. 1

Während sich das System von 2023 auf Sprachausgabe und die Animation eines Gesichts-Avatars konzentrierte, erweitert die neuere Arbeit den gleichen grundsätzlichen Ansatz aus hochdichter kortikaler Aufzeichnung und KI-Decodierung um die gleichzeitige Kommunikation durch Oberkörpergesten. 12