Hoe SL2T werkt

Trainingsdata: 100.000+ uur, 50+ gebarentalen

SL2T is getraind op meer dan 100.000 uur aan gebarentaalvideo, verspreid over meer dan 50 gebarentalen. Ongeveer een kwart van die data bestaat uit ASL . Door gezamenlijk te trainen op meerdere gebarentalen, dialecten en vaardigheidsniveaus, presteert het model beter dan systemen die op één taal zijn getraind. Het leert gedeelde structurele patronen die de generalisatie verbeteren . Opvallend is dat de trainingsdata geen gebarentalers onder de 18 jaar bevat, wat de nauwkeurigheid voor jongere gebruikers kan verminderen .

Lokale herkenning: Alleen coördinaten verlaten de telefoon

Het systeem is ontworpen met het oog op privacy. De camera van de telefoon draait MediaPipe Holistic, dat per frame 2D-coördinaten van 130 belangrijke punten (gezicht, lichaam, handen) extraheert. De ruwe cameravideo wordt vervolgens onmiddellijk weggegooid en verlaat het apparaat nooit . Alleen deze abstracte geometrische coördinaten worden naar de servers van Google gestuurd voor vertaling, en er worden geen logboeken van gebruikersinvoer of -uitvoer bewaard zonder expliciete toestemming . De 2D-weergave houdt geen tongbewegingen bij en biedt geen diepte-informatie, waardoor het moeilijker is om onderscheid te maken tussen handcontact en zweven – beide belangrijk in ASL .

Directe pose-naar-tekst: Glossenvrij, autoregressieve vertaling

SL2T gebruikt een transformermodel dat direct op de reeks landmarktcoördinaten werkt en autoregressief Engelse tekst genereert. In tegenstelling tot eerdere benaderingen produceert het geen tussenliggende glossen of handmatig gecodeerde taalkundige representaties . Het model vertaalt in plaats van transcribeert: het produceert natuurlijk Engels, geen woord-voor-woord vertaling van ASL-gebaren.

Benchmarkprestaties: State-of-the-art, maar gerapporteerd door de leverancier

Op FLEURS-ASL, een zero-shot evaluatiedataset van complexe, abstracte taal opgenomen in studiocomfort door gecertificeerde dove tolken, scoort SL2T 70 BLEURT. Google zegt dat dit ver boven elk eerder gerapporteerd resultaat ligt . Aanvullende benchmarkresultaten zijn:

• 74 BLEURT op een eenhandige variant van FLEURS-ASL
• 85 BLEURT op PRESTO-ASL, een dataset met AI-assistent-zinnen
• 64% exacte overeenkomst op FSboard, een vingerspellingsdataset verzameld van dove gebarentalers op mobiele apparaten

Het is belangrijk om op te merken dat dit door de leverancier gerapporteerde cijfers zijn; er is geen onafhankelijke evaluatie gepubliceerd op het moment van lancering.

Governance en beperkingen: Gebouwd met waarborgen

Het AI-gebarentaaladviescomité

Google heeft een extern AI Sign Language Advisory Committee (AISLAC) opgericht, met vertegenwoordigers van de National Association of the Deaf (NAD), RIT/NTID, DPAN en de World Federation of the Deaf (WFD). AISLAC heeft het Joint Impact Report mede-opgesteld, dat de operationele grenzen en beperkingen van het model definieert .

Verboden gebruikssituaties

SL2T is expliciet ontworpen en alleen geëvalueerd voor laagdrempelige, informele situaties, zoals tekstdictatie, berichten, zoekopdrachten en een-op-eengesprekken (bijv. in een café of winkel). Hoogwaardige of meerpartijengesprekken in medische, juridische en academische omgevingen vallen buiten het toepassingsgebied .

ADA-disclaimer

Google stelt in zijn documentatie dat SL2T geen vervanging is voor professionele tolkdiensten en niet mag worden gebruikt in situaties waar communicatiefouten schade kunnen veroorzaken .

Bekende technische beperkingen

• Verminderde prestaties bij weinig licht: De prestaties dalen bij slechte verlichting omdat de MediaPipe Holistic-landmarken minder betrouwbaar worden .
• Ondersteuning voor één gebarentaler: Het model kan slechts één gebarentaler tegelijk aan; het kan geen meerpartijengebarenconversaties interpreteren .
• Limiet van 60 seconden: Individuele vertaalsegmenten zijn beperkt tot ongeveer 60 seconden gebaren .
• Geen trainingsdata van jongeren onder 18: Het model kan minder nauwkeurig zijn voor jongere gebruikers, omdat de trainingsdata geen gebarentalers onder de 18 jaar bevat .
• Beperkingen van 2D-weergave: Het landmarksysteem houdt geen tongbewegingen bij en biedt geen diepte-informatie, waardoor het moeilijk is om onderscheid te maken tussen contact en zweven – beide taalkundig significant in ASL .

De rol van Sam Sepah

Sam Sepah, een Dove Google-medewerker en lid van het gebarentaalteam, speelde een centrale rol in de ontwikkeling van SL2T. Hij is co-auteur van de publicatie van de FSboard-dataset die in de evaluatie van het model is gebruikt . De blog van Google en het Joint Impact Report benadrukken dat het team nauw heeft samengewerkt met Dove Google-medewerkers – waaronder Sepah – tijdens pre-release tests om modelgedrag en interfaceproblemen bloot te leggen die benchmarks alleen niet konden vangen .

Hoe SL2T werkt

Trainingsdata: 100.000+ uur, 50+ gebarentalen

SL2T is getraind op meer dan 100.000 uur aan gebarentaalvideo, verspreid over meer dan 50 gebarentalen. Ongeveer een kwart van die data bestaat uit ASL . Door gezamenlijk te trainen op meerdere gebarentalen, dialecten en vaardigheidsniveaus, presteert het model beter dan systemen die op één taal zijn getraind. Het leert gedeelde structurele patronen die de generalisatie verbeteren . Opvallend is dat de trainingsdata geen gebarentalers onder de 18 jaar bevat, wat de nauwkeurigheid voor jongere gebruikers kan verminderen .

Lokale herkenning: Alleen coördinaten verlaten de telefoon

Het systeem is ontworpen met het oog op privacy. De camera van de telefoon draait MediaPipe Holistic, dat per frame 2D-coördinaten van 130 belangrijke punten (gezicht, lichaam, handen) extraheert. De ruwe cameravideo wordt vervolgens onmiddellijk weggegooid en verlaat het apparaat nooit . Alleen deze abstracte geometrische coördinaten worden naar de servers van Google gestuurd voor vertaling, en er worden geen logboeken van gebruikersinvoer of -uitvoer bewaard zonder expliciete toestemming . De 2D-weergave houdt geen tongbewegingen bij en biedt geen diepte-informatie, waardoor het moeilijker is om onderscheid te maken tussen handcontact en zweven – beide belangrijk in ASL .

Directe pose-naar-tekst: Glossenvrij, autoregressieve vertaling

SL2T gebruikt een transformermodel dat direct op de reeks landmarktcoördinaten werkt en autoregressief Engelse tekst genereert. In tegenstelling tot eerdere benaderingen produceert het geen tussenliggende glossen of handmatig gecodeerde taalkundige representaties . Het model vertaalt in plaats van transcribeert: het produceert natuurlijk Engels, geen woord-voor-woord vertaling van ASL-gebaren.

Benchmarkprestaties: State-of-the-art, maar gerapporteerd door de leverancier

Op FLEURS-ASL, een zero-shot evaluatiedataset van complexe, abstracte taal opgenomen in studiocomfort door gecertificeerde dove tolken, scoort SL2T 70 BLEURT. Google zegt dat dit ver boven elk eerder gerapporteerd resultaat ligt . Aanvullende benchmarkresultaten zijn:

• 74 BLEURT op een eenhandige variant van FLEURS-ASL
• 85 BLEURT op PRESTO-ASL, een dataset met AI-assistent-zinnen
• 64% exacte overeenkomst op FSboard, een vingerspellingsdataset verzameld van dove gebarentalers op mobiele apparaten

Het is belangrijk om op te merken dat dit door de leverancier gerapporteerde cijfers zijn; er is geen onafhankelijke evaluatie gepubliceerd op het moment van lancering.

Governance en beperkingen: Gebouwd met waarborgen

Het AI-gebarentaaladviescomité

Google heeft een extern AI Sign Language Advisory Committee (AISLAC) opgericht, met vertegenwoordigers van de National Association of the Deaf (NAD), RIT/NTID, DPAN en de World Federation of the Deaf (WFD). AISLAC heeft het Joint Impact Report mede-opgesteld, dat de operationele grenzen en beperkingen van het model definieert .

Verboden gebruikssituaties

SL2T is expliciet ontworpen en alleen geëvalueerd voor laagdrempelige, informele situaties, zoals tekstdictatie, berichten, zoekopdrachten en een-op-eengesprekken (bijv. in een café of winkel). Hoogwaardige of meerpartijengesprekken in medische, juridische en academische omgevingen vallen buiten het toepassingsgebied .

ADA-disclaimer

Google stelt in zijn documentatie dat SL2T geen vervanging is voor professionele tolkdiensten en niet mag worden gebruikt in situaties waar communicatiefouten schade kunnen veroorzaken .

Bekende technische beperkingen

• Verminderde prestaties bij weinig licht: De prestaties dalen bij slechte verlichting omdat de MediaPipe Holistic-landmarken minder betrouwbaar worden .
• Ondersteuning voor één gebarentaler: Het model kan slechts één gebarentaler tegelijk aan; het kan geen meerpartijengebarenconversaties interpreteren .
• Limiet van 60 seconden: Individuele vertaalsegmenten zijn beperkt tot ongeveer 60 seconden gebaren .
• Geen trainingsdata van jongeren onder 18: Het model kan minder nauwkeurig zijn voor jongere gebruikers, omdat de trainingsdata geen gebarentalers onder de 18 jaar bevat .
• Beperkingen van 2D-weergave: Het landmarksysteem houdt geen tongbewegingen bij en biedt geen diepte-informatie, waardoor het moeilijk is om onderscheid te maken tussen contact en zweven – beide taalkundig significant in ASL .

De rol van Sam Sepah

Sam Sepah, een Dove Google-medewerker en lid van het gebarentaalteam, speelde een centrale rol in de ontwikkeling van SL2T. Hij is co-auteur van de publicatie van de FSboard-dataset die in de evaluatie van het model is gebruikt . De blog van Google en het Joint Impact Report benadrukken dat het team nauw heeft samengewerkt met Dove Google-medewerkers – waaronder Sepah – tijdens pre-release tests om modelgedrag en interfaceproblemen bloot te leggen die benchmarks alleen niet konden vangen .