Zunächst unterstützt SL2T die Amerikanische Gebärdensprache (ASL) ins Englische und steckt in zwei Funktionen der Pixel-11-Familie: in Gboard (für Texteingabe, Suche und Nachrichten) sowie in Live Transcribe (für informelle Einzelgespräche) . Google selbst bezeichnet die Funktion als das Äquivalent zur Spracheingabe – nur eben für Gebärdensprache.

So funktioniert SL2T

Trainingsdaten: 100.000+ Stunden, 50+ Gebärdensprachen

SL2T wurde mit mehr als 100.000 Stunden Gebärdensprach-Videomaterial aus über 50 Sprachen trainiert, wovon etwa ein Viertel auf ASL entfällt . Durch das gleichzeitige Training mit vielen Sprachen, Dialekten und Könnensstufen übertrifft das Modell laut Google Systeme, die nur eine Sprache gelernt haben – es erkennt gemeinsame strukturelle Muster und generalisiert besser . Wichtig: Die Trainingsdaten enthalten keine Gebärdensprachler unter 18 Jahren, was die Genauigkeit bei jüngeren Nutzern beeinträchtigen könnte .

On-Device-Tracking: Nur Koordinaten verlassen das Telefon

Das System ist auf Datenschutz ausgelegt. Die Kamera des Telefons nutzt MediaPipe Holistic, um Bild für Bild 2D-Koordinaten von 130 Schlüsselpunkten (Gesicht, Körper, Hände) zu extrahieren. Das rohe Kamerabild wird sofort verworfen und verlässt das Gerät nie . Nur diese abstrakten geometrischen Koordinaten werden an die Server von Google zur Übersetzung gesendet. Ohne ausdrückliche Zustimmung der Nutzer werden keine Protokolle der Eingaben oder Ausgaben gespeichert . Die 2D-Darstellung erfasst allerdings keine Zungenbewegungen und keine Tiefeninformationen, was die Unterscheidung von Berührungen und Annäherungen erschwert – ein wichtiges Merkmal in der ASL .

Direkte Übersetzung: Von der Pose zum Text, ohne Zwischenschritte

SL2T ist ein Transformer, der direkt auf die Koordinaten-Sequenzen zugreift und englischen Text autoregressiv erzeugt. Anders als frühere Ansätze überspringt es die Erstellung von Zwischen-Glossen oder speziellen linguistischen Repräsentationen . Das Modell übersetzt also, es transkribiert nicht Wort für Wort, sondern erzeugt natürlich klingenden englischen Text.

Benchmark-Ergebnisse: Spitzenwerte – aber von Google selbst gemessen

Im FLEURS-ASL-Test – einem Datensatz mit komplexen, abstrakten Sätzen, die von zertifizierten gehörlosen Dolmetschern im Studio aufgenommen wurden – erreicht SL2T im Zero-Shot-Durchlauf 70 BLEURT. Google zufolge liegt dieser Wert weit über allen bisher veröffentlichten Ergebnissen . Weitere Benchmarks:

• 74 BLEURT auf einer einhändigen Variante von FLEURS-ASL
• 85 BLEURT auf PRESTO-ASL, einem Datensatz mit KI-Assistenten-Befehlen
• 64 % exakte Übereinstimmung auf FSboard, einem Datensatz mit Fingeralphabet, der von gehörlosen Gebärdensprachlern auf Mobilgeräten aufgezeichnet wurde

Es ist wichtig zu betonen: Dies sind von Google selbst veröffentlichte Werte. Eine unabhängige Evaluierung liegt zum jetzigen Zeitpunkt nicht vor.

Governance und Grenzen: Ein System mit Schutzvorrichtungen

Das AI Sign Language Advisory Committee (AISLAC)

Google hat einen externen KI-Beirat für Gebärdensprache einberufen, dem Vertreter der National Association of the Deaf (NAD), des RIT/NTID, der DPAN und des Weltverbands der Gehörlosen (WFD) angehören. Das Gremium hat den Joint Impact Report verfasst, der die Einsatzbereiche und Grenzen des Modells definiert .

Ausgeschlossene Einsatzbereiche

SL2T ist ausschließlich für risikoarme, informelle Alltagssituationen konzipiert und getestet: Texteingabe, Nachrichten, Suchanfragen und Einzelgespräche (z. B. im Café oder an der Ladentheke). Für medizinische, rechtliche und akademische Kontexte ist das Modell nicht vorgesehen .

ADA-Hinweis

Google stellt in seiner Dokumentation klar, dass SL2T keinen Ersatz für professionelle Dolmetschdienste darstellt und nicht in Situationen eingesetzt werden sollte, in denen Kommunikationsfehler zu Schaden führen könnten .

Bekannte technische Einschränkungen

• Schlechter bei schwachem Licht: Die Leistung sinkt bei ungünstigen Lichtverhältnissen, da MediaPipe Holistic dann unzuverlässiger wird .
• Nur eine Person gleichzeitig: Das Modell kann nur eine gebärdende Person verarbeiten; mehrteilige Gespräche sind nicht möglich .
• 60-Sekunden-Limit: Einzelne Übersetzungssegmente sind auf etwa 60 Sekunden Gebärdendauer begrenzt .
• Keine Daten von Minderjährigen: Da im Training keine unter 18-Jährigen vorkommen, könnte die Genauigkeit für jüngere Nutzer geringer sein .
• Grenzen der 2D-Darstellung: Zungenbewegungen werden nicht erfasst und Tiefeninformationen fehlen, was die Unterscheidung von Berührung und Annäherung erschwert – beides in der ASL von Bedeutung .

Die Rolle von Sam Sepah

Sam Sepah, ein gehörloser Google-Mitarbeiter und Mitglied des Gebärdensprach-Teams, spielte eine zentrale Rolle in der Entwicklung von SL2T. Er ist Ko-Autor der Veröffentlichung zum FSboard-Datensatz, der für die Evaluierung des Modells genutzt wurde . Google betont in seinem Blog und im Joint Impact Report, dass das Team während der Tests vor der Veröffentlichung eng mit gehörlosen Google-Mitarbeitern – darunter Sepah – zusammengearbeitet hat, um Verhaltensweisen und Probleme der Benutzeroberfläche zu identifizieren, die allein durch Benchmarks nicht sichtbar geworden wären .

Zunächst unterstützt SL2T die Amerikanische Gebärdensprache (ASL) ins Englische und steckt in zwei Funktionen der Pixel-11-Familie: in Gboard (für Texteingabe, Suche und Nachrichten) sowie in Live Transcribe (für informelle Einzelgespräche) . Google selbst bezeichnet die Funktion als das Äquivalent zur Spracheingabe – nur eben für Gebärdensprache.

So funktioniert SL2T

Trainingsdaten: 100.000+ Stunden, 50+ Gebärdensprachen

SL2T wurde mit mehr als 100.000 Stunden Gebärdensprach-Videomaterial aus über 50 Sprachen trainiert, wovon etwa ein Viertel auf ASL entfällt . Durch das gleichzeitige Training mit vielen Sprachen, Dialekten und Könnensstufen übertrifft das Modell laut Google Systeme, die nur eine Sprache gelernt haben – es erkennt gemeinsame strukturelle Muster und generalisiert besser . Wichtig: Die Trainingsdaten enthalten keine Gebärdensprachler unter 18 Jahren, was die Genauigkeit bei jüngeren Nutzern beeinträchtigen könnte .

On-Device-Tracking: Nur Koordinaten verlassen das Telefon

Das System ist auf Datenschutz ausgelegt. Die Kamera des Telefons nutzt MediaPipe Holistic, um Bild für Bild 2D-Koordinaten von 130 Schlüsselpunkten (Gesicht, Körper, Hände) zu extrahieren. Das rohe Kamerabild wird sofort verworfen und verlässt das Gerät nie . Nur diese abstrakten geometrischen Koordinaten werden an die Server von Google zur Übersetzung gesendet. Ohne ausdrückliche Zustimmung der Nutzer werden keine Protokolle der Eingaben oder Ausgaben gespeichert . Die 2D-Darstellung erfasst allerdings keine Zungenbewegungen und keine Tiefeninformationen, was die Unterscheidung von Berührungen und Annäherungen erschwert – ein wichtiges Merkmal in der ASL .

Direkte Übersetzung: Von der Pose zum Text, ohne Zwischenschritte

SL2T ist ein Transformer, der direkt auf die Koordinaten-Sequenzen zugreift und englischen Text autoregressiv erzeugt. Anders als frühere Ansätze überspringt es die Erstellung von Zwischen-Glossen oder speziellen linguistischen Repräsentationen . Das Modell übersetzt also, es transkribiert nicht Wort für Wort, sondern erzeugt natürlich klingenden englischen Text.

Benchmark-Ergebnisse: Spitzenwerte – aber von Google selbst gemessen

Im FLEURS-ASL-Test – einem Datensatz mit komplexen, abstrakten Sätzen, die von zertifizierten gehörlosen Dolmetschern im Studio aufgenommen wurden – erreicht SL2T im Zero-Shot-Durchlauf 70 BLEURT. Google zufolge liegt dieser Wert weit über allen bisher veröffentlichten Ergebnissen . Weitere Benchmarks:

• 74 BLEURT auf einer einhändigen Variante von FLEURS-ASL
• 85 BLEURT auf PRESTO-ASL, einem Datensatz mit KI-Assistenten-Befehlen
• 64 % exakte Übereinstimmung auf FSboard, einem Datensatz mit Fingeralphabet, der von gehörlosen Gebärdensprachlern auf Mobilgeräten aufgezeichnet wurde

Es ist wichtig zu betonen: Dies sind von Google selbst veröffentlichte Werte. Eine unabhängige Evaluierung liegt zum jetzigen Zeitpunkt nicht vor.

Governance und Grenzen: Ein System mit Schutzvorrichtungen

Das AI Sign Language Advisory Committee (AISLAC)

Google hat einen externen KI-Beirat für Gebärdensprache einberufen, dem Vertreter der National Association of the Deaf (NAD), des RIT/NTID, der DPAN und des Weltverbands der Gehörlosen (WFD) angehören. Das Gremium hat den Joint Impact Report verfasst, der die Einsatzbereiche und Grenzen des Modells definiert .

Ausgeschlossene Einsatzbereiche

SL2T ist ausschließlich für risikoarme, informelle Alltagssituationen konzipiert und getestet: Texteingabe, Nachrichten, Suchanfragen und Einzelgespräche (z. B. im Café oder an der Ladentheke). Für medizinische, rechtliche und akademische Kontexte ist das Modell nicht vorgesehen .

ADA-Hinweis

Google stellt in seiner Dokumentation klar, dass SL2T keinen Ersatz für professionelle Dolmetschdienste darstellt und nicht in Situationen eingesetzt werden sollte, in denen Kommunikationsfehler zu Schaden führen könnten .

Bekannte technische Einschränkungen

• Schlechter bei schwachem Licht: Die Leistung sinkt bei ungünstigen Lichtverhältnissen, da MediaPipe Holistic dann unzuverlässiger wird .
• Nur eine Person gleichzeitig: Das Modell kann nur eine gebärdende Person verarbeiten; mehrteilige Gespräche sind nicht möglich .
• 60-Sekunden-Limit: Einzelne Übersetzungssegmente sind auf etwa 60 Sekunden Gebärdendauer begrenzt .
• Keine Daten von Minderjährigen: Da im Training keine unter 18-Jährigen vorkommen, könnte die Genauigkeit für jüngere Nutzer geringer sein .
• Grenzen der 2D-Darstellung: Zungenbewegungen werden nicht erfasst und Tiefeninformationen fehlen, was die Unterscheidung von Berührung und Annäherung erschwert – beides in der ASL von Bedeutung .

Die Rolle von Sam Sepah

Sam Sepah, ein gehörloser Google-Mitarbeiter und Mitglied des Gebärdensprach-Teams, spielte eine zentrale Rolle in der Entwicklung von SL2T. Er ist Ko-Autor der Veröffentlichung zum FSboard-Datensatz, der für die Evaluierung des Modells genutzt wurde . Google betont in seinem Blog und im Joint Impact Report, dass das Team während der Tests vor der Veröffentlichung eng mit gehörlosen Google-Mitarbeitern – darunter Sepah – zusammengearbeitet hat, um Verhaltensweisen und Probleme der Benutzeroberfläche zu identifizieren, die allein durch Benchmarks nicht sichtbar geworden wären .