Hur SL2T fungerar

Träningsdata: 100 000+ timmar, 50+ teckenspråk

SL2T tränades på mer än 100 000 timmar teckenspråksvideo som omfattar över 50 teckenspråk, med ungefär en fjärdedel av datan på ASL . Genom att träna flera teckenspråk samtidigt fann Google att modellen presterar bättre än system som bara tränats på ett språk – den lär sig gemensamma strukturella mönster som förbättrar generaliseringen . Noterbart är att träningsdatan medvetet utesluter personer under 18 år, vilket kan minska noggrannheten för yngre användare .

Lokal positionsspårning på enheten: Endast koordinater lämnar din telefon

Systemet är designat för integritet. Telefonens kamera kör MediaPipe Holistic, som extraherar 2D-positionskoordinater för 130 nyckelpunkter (ansikte, kropp, händer) bildruta för bildruta. Råvideokastas sedan omedelbart och lämnar aldrig din enhet . Endast dessa abstrakta geometriska koordinater skickas till Googles servrar för översättning, och inga loggar över användarens inmatning eller utdata sparas utan uttryckligt tillstånd . 2D-representationen spårar inte tungans rörelser eller djupordning, vilket gör det svårare att skilja mellan handkontakt och svävande – båda viktiga för ASL .

Direkt pose-till-text: Glossfri, autoregressiv översättning

SL2T använder en transformator som direkt bearbetar koordinatsekvensen av positionsdata och genererar engelsk text autoregressivt. Till skillnad från tidigare metoder genererar den inte först mellanliggande glossor eller handkodade språkliga representationer . Modellen översätter snarare än transkriberar – det vill säga, den producerar naturlig engelsk text, inte en ord-för-ord-avbildning av ASL-tecken.

Benchmark-prestanda: State-of-the-art men leverantörsrapporterad

På FLEURS-ASL, ett utvärderingsdataset för nollskottsöversättning av komplext, abstrakt språk som spelats in i studiomiljö av certifierade döva tolkar, uppnår SL2T 70 BLEURT, vilket Google säger är långt över tidigare rapporterade resultat . Andra benchmarkresultat inkluderar:

• 74 BLEURT på en enhandsvariant av FLEURS-ASL
• 85 BLEURT på PRESTO-ASL, ett dataset med AI-assistentfraser
• 64% exakt matchning på FSboard, ett fingerspråksdataset som samlats in från döva teckenspråksanvändare på mobila enheter

Det är viktigt att notera att det rör sig om leverantörsrapporterade siffror; ingen oberoende utvärdering har publicerats i samband med lanseringen.

Styrning och begränsningar: Byggd med skyddsräcken

Rådgivande kommitté för AI-teckenspråk

Google tillsatte en extern AI Sign Language Advisory Committee (AISLAC), som inkluderar representanter från National Association of the Deaf (NAD) (USA:s nationella dövas förbund), RIT/NTID (Rochester Institute of Technologys nationella tekniska institut för döva), DPAN (DPAN, en ideell organisation för döva medier) och World Federation of the Deaf (WFD) (Världsdövas federation). AISLAC var medförfattare till den gemensamma konsekvensrapport som definierar modellens operativa gränser och begränsningar .

Förbjudna användningssammanhang

SL2T är uttryckligen utformat och utvärderat endast för lågrisk-, informella situationer som textdiktering, meddelanden, sökfrågor och en-till-en-samtal (t.ex. på ett kafé eller i en butik). Högrisk- eller flerpersonssamtal inom medicinska, juridiska och akademiska miljöer ligger utanför modellens syfte .

ADA-friskrivning

Google anger i sin dokumentation att SL2T inte är en ersättning för professionella tolkningstjänster och inte ska förlitas på i sammanhang där kommunikationsfel kan orsaka skada .

Kända tekniska begränsningar

• Försämring i svagt ljus: Prestandan sjunker i dålig belysning eftersom MediaPipe Holistics positionsdata blir mindre pålitlig .
• Stöd för en teckenspråkig i taget: Modellen hanterar endast en teckenspråkig samtalspartner i taget; den kan inte tolka flerparts-samtal där samtliga använder teckenspråk .
• 60-sekunders klippgräns: Enskilda översättningssegment är begränsade till cirka 60 sekunder tecknande .
• Ingen träningsdata för under 18 år: Modellen kan vara mindre noggrann för yngre användare eftersom träningsdata utesluter teckenspråkiga under 18 år .
• Begränsningar i 2D-representation: Landmärkessystemet spårar inte tungans artikulation eller djupordning, vilket gör det svårt att skilja mellan kontakt och svävande – båda språkligt betydelsefulla i ASL .

Sam Sepahs roll

Sam Sepah, en döv Google-anställd och medlem i teckenspråksgruppen, spelade en central roll i SL2T:s utveckling. Han är medförfattare till den publikation om FSboard-datasetet som användes i modellens utvärdering . Googles blogg och den gemensamma konsekvensrapporten betonar att gruppen arbetade nära döva Google-anställda – inklusive Sepah – under hela testfasen före lansering för att identifiera modellbeteenden och gränssnittsproblem som enbart riktmärken inte kunde fånga .

Hur SL2T fungerar

Träningsdata: 100 000+ timmar, 50+ teckenspråk

SL2T tränades på mer än 100 000 timmar teckenspråksvideo som omfattar över 50 teckenspråk, med ungefär en fjärdedel av datan på ASL . Genom att träna flera teckenspråk samtidigt fann Google att modellen presterar bättre än system som bara tränats på ett språk – den lär sig gemensamma strukturella mönster som förbättrar generaliseringen . Noterbart är att träningsdatan medvetet utesluter personer under 18 år, vilket kan minska noggrannheten för yngre användare .

Lokal positionsspårning på enheten: Endast koordinater lämnar din telefon

Systemet är designat för integritet. Telefonens kamera kör MediaPipe Holistic, som extraherar 2D-positionskoordinater för 130 nyckelpunkter (ansikte, kropp, händer) bildruta för bildruta. Råvideokastas sedan omedelbart och lämnar aldrig din enhet . Endast dessa abstrakta geometriska koordinater skickas till Googles servrar för översättning, och inga loggar över användarens inmatning eller utdata sparas utan uttryckligt tillstånd . 2D-representationen spårar inte tungans rörelser eller djupordning, vilket gör det svårare att skilja mellan handkontakt och svävande – båda viktiga för ASL .

Direkt pose-till-text: Glossfri, autoregressiv översättning

SL2T använder en transformator som direkt bearbetar koordinatsekvensen av positionsdata och genererar engelsk text autoregressivt. Till skillnad från tidigare metoder genererar den inte först mellanliggande glossor eller handkodade språkliga representationer . Modellen översätter snarare än transkriberar – det vill säga, den producerar naturlig engelsk text, inte en ord-för-ord-avbildning av ASL-tecken.

Benchmark-prestanda: State-of-the-art men leverantörsrapporterad

På FLEURS-ASL, ett utvärderingsdataset för nollskottsöversättning av komplext, abstrakt språk som spelats in i studiomiljö av certifierade döva tolkar, uppnår SL2T 70 BLEURT, vilket Google säger är långt över tidigare rapporterade resultat . Andra benchmarkresultat inkluderar:

• 74 BLEURT på en enhandsvariant av FLEURS-ASL
• 85 BLEURT på PRESTO-ASL, ett dataset med AI-assistentfraser
• 64% exakt matchning på FSboard, ett fingerspråksdataset som samlats in från döva teckenspråksanvändare på mobila enheter

Det är viktigt att notera att det rör sig om leverantörsrapporterade siffror; ingen oberoende utvärdering har publicerats i samband med lanseringen.

Styrning och begränsningar: Byggd med skyddsräcken

Rådgivande kommitté för AI-teckenspråk

Google tillsatte en extern AI Sign Language Advisory Committee (AISLAC), som inkluderar representanter från National Association of the Deaf (NAD) (USA:s nationella dövas förbund), RIT/NTID (Rochester Institute of Technologys nationella tekniska institut för döva), DPAN (DPAN, en ideell organisation för döva medier) och World Federation of the Deaf (WFD) (Världsdövas federation). AISLAC var medförfattare till den gemensamma konsekvensrapport som definierar modellens operativa gränser och begränsningar .

Förbjudna användningssammanhang

SL2T är uttryckligen utformat och utvärderat endast för lågrisk-, informella situationer som textdiktering, meddelanden, sökfrågor och en-till-en-samtal (t.ex. på ett kafé eller i en butik). Högrisk- eller flerpersonssamtal inom medicinska, juridiska och akademiska miljöer ligger utanför modellens syfte .

ADA-friskrivning

Google anger i sin dokumentation att SL2T inte är en ersättning för professionella tolkningstjänster och inte ska förlitas på i sammanhang där kommunikationsfel kan orsaka skada .

Kända tekniska begränsningar

• Försämring i svagt ljus: Prestandan sjunker i dålig belysning eftersom MediaPipe Holistics positionsdata blir mindre pålitlig .
• Stöd för en teckenspråkig i taget: Modellen hanterar endast en teckenspråkig samtalspartner i taget; den kan inte tolka flerparts-samtal där samtliga använder teckenspråk .
• 60-sekunders klippgräns: Enskilda översättningssegment är begränsade till cirka 60 sekunder tecknande .
• Ingen träningsdata för under 18 år: Modellen kan vara mindre noggrann för yngre användare eftersom träningsdata utesluter teckenspråkiga under 18 år .
• Begränsningar i 2D-representation: Landmärkessystemet spårar inte tungans artikulation eller djupordning, vilket gör det svårt att skilja mellan kontakt och svävande – båda språkligt betydelsefulla i ASL .

Sam Sepahs roll

Sam Sepah, en döv Google-anställd och medlem i teckenspråksgruppen, spelade en central roll i SL2T:s utveckling. Han är medförfattare till den publikation om FSboard-datasetet som användes i modellens utvärdering . Googles blogg och den gemensamma konsekvensrapporten betonar att gruppen arbetade nära döva Google-anställda – inklusive Sepah – under hela testfasen före lansering för att identifiera modellbeteenden och gränssnittsproblem som enbart riktmärken inte kunde fånga .