Sådan fungerer SL2T

Træningsdata: Over 100.000 timer, mere end 50 tegnsprog

SL2T er trænet på mere end 100.000 timer tegnsprogsvideo, der dækker over 50 tegnsprog, hvoraf cirka en fjerdedel er ASL . Ved at træne på flere tegnsprog, dialekter og færdighedsniveauer samtidig har Googles forskning vist, at modellen klarer sig bedre end systemer trænet på ét enkelt sprog – den lærer fælles strukturelle mønstre, der forbedrer generaliseringen . Det skal bemærkes, at træningsdataene bevidst udelukker tegnsprogsbrugere under 18 år, hvilket kan mindske nøjagtigheden for yngre brugere .

Landmark-sporing på enheden: Kun koordinater forlader telefonen

Systemet er designet med fokus på privatliv. Telefonens kamera kører MediaPipe Holistic, der billede for billede udtrækker 2D-landmarkskoordinater for 130 nøglepunkter (ansigt, krop, hænder). Råvideoen kasseres straks og forlader aldrig enheden . Kun disse abstrakte geometriske koordinater sendes til Googles servere til oversættelse, og ingen logfiler over brugerinput eller -output gemmes uden udtrykkelig tilladelse . 2D-landmarksrepræsentationen registrerer ikke tungens bevægelser eller giver dybdeinformation, hvilket gør det sværere at skelne mellem håndkontakt og svævende hænder – begge dele er vigtige i ASL .

Direkte pose-til-tekst: Uden gloss-mellemled, autoregressiv oversættelse

SL2T bruger en transformer, der forarbejder landmark-koordinaterne direkte og genererer engelsk tekst autoregressivt. I modsætning til tidligere tilgange producerer den ikke først mellemliggende glosslister eller håndkodede sproglige repræsentationer . Modellen oversætter snarere end transskriberer – den producerer naturligt engelsk, ikke en ord-for-ord-gengivelse af ASL-tegn.

Benchmark-resultater: State-of-the-art, men leverandørrapporterede

På FLEURS-ASL, et zero-shot-evalueringsdatasæt med komplekst, abstrakt sprog optaget i studiemiljø af certificerede døve tolke, opnår SL2T 70 BLEURT, hvilket Google siger er langt over tidligere rapporterede resultater . Yderligere benchmark-resultater omfatter:

• 74 BLEURT på en enhåndsvariant af FLEURS-ASL
• 85 BLEURT på PRESTO-ASL, et datasæt med AI-assistent-fraser
• 64 % nøjagtig matchning på FSboard, et fingeralfabet-datasæt indsamlet fra døve tegnsprogsbrugere på mobilenheder

Det er vigtigt at bemærke, at disse tal er leverandørrapporterede; der er ikke offentliggjort nogen uafhængig evaluering ved lanceringen.

Styring og begrænsninger: Bygget med sikkerhedsforanstaltninger

Det rådgivende udvalg for AI-tegnsprog

Google har nedsat et eksternt AI Sign Language Advisory Committee (AISLAC) med repræsentanter fra National Association of the Deaf (NAD), RIT/NTID, DPAN og World Federation of the Deaf (WFD). AISLAC var medforfatter på den fælles konsekvensrapport, der definerer modellens driftsgrænser og begrænsninger .

Forbudte brugssituationer

SL2T er udtrykkeligt designet og evalueret kun til lavrisiko, uformelle situationer som tekst-diktering, beskeder, søgeforespørgsler og en-til-en-samtaler (f.eks. på en café eller i en butik). Højrisiko- eller flerpersonssamtaler i medicinske, juridiske og akademiske sammenhænge er uden for modellens anvendelsesområde .

ADA-ansvarsfraskrivelse

Google understreger i sin dokumentation, at SL2T ikke erstatter professionelle tolketjenester og ikke bør anvendes i situationer, hvor kommunikationsfejl kan forårsage skade .

Kendte tekniske begrænsninger

• Forringelse i svagt lys: Ydeevnen falder i dårlig belysning, fordi MediaPipe Holistic-landmarks bliver mindre pålidelige .
• Kun én tegnsprogsbruger ad gangen: Modellen håndterer kun én person ad gangen; den kan ikke fortolke flerpersons-tegnsprogssamtaler .
• 60 sekunders klipgrænse: Individuelle oversættelsessegmenter er begrænset til cirka 60 sekunders tegnsprog .
• Ingen træningsdata for børn under 18: Modellen kan være mindre præcis for yngre brugere, da træningsdata udelukker tegnsprogsbrugere under 18 år .
• 2D-repræsentationens begrænsninger: Landmarksystemet registrerer ikke tungebevægelser eller dybde, hvilket gør det svært at skelne mellem kontakt og svævende hænder – begge sprogligt betydningsfulde i ASL .

Sam Sepahs rolle

Sam Sepah, en døv Google-medarbejder og medlem af tegnsprogsteamet, spillede en central rolle i udviklingen af SL2T. Han er medforfatter på publikationen af FSboard-datasættet, der blev brugt i modellens evaluering . Googles blog og den fælles konsekvensrapport understreger, at teamet arbejdede tæt sammen med døve Google-medarbejdere – herunder Sepah – gennem test før lancering for at afdække modeladfærd og grænsefladeproblemer, som benchmarks alene ikke kunne fange .

Sådan fungerer SL2T

Træningsdata: Over 100.000 timer, mere end 50 tegnsprog

SL2T er trænet på mere end 100.000 timer tegnsprogsvideo, der dækker over 50 tegnsprog, hvoraf cirka en fjerdedel er ASL . Ved at træne på flere tegnsprog, dialekter og færdighedsniveauer samtidig har Googles forskning vist, at modellen klarer sig bedre end systemer trænet på ét enkelt sprog – den lærer fælles strukturelle mønstre, der forbedrer generaliseringen . Det skal bemærkes, at træningsdataene bevidst udelukker tegnsprogsbrugere under 18 år, hvilket kan mindske nøjagtigheden for yngre brugere .

Landmark-sporing på enheden: Kun koordinater forlader telefonen

Systemet er designet med fokus på privatliv. Telefonens kamera kører MediaPipe Holistic, der billede for billede udtrækker 2D-landmarkskoordinater for 130 nøglepunkter (ansigt, krop, hænder). Råvideoen kasseres straks og forlader aldrig enheden . Kun disse abstrakte geometriske koordinater sendes til Googles servere til oversættelse, og ingen logfiler over brugerinput eller -output gemmes uden udtrykkelig tilladelse . 2D-landmarksrepræsentationen registrerer ikke tungens bevægelser eller giver dybdeinformation, hvilket gør det sværere at skelne mellem håndkontakt og svævende hænder – begge dele er vigtige i ASL .

Direkte pose-til-tekst: Uden gloss-mellemled, autoregressiv oversættelse

SL2T bruger en transformer, der forarbejder landmark-koordinaterne direkte og genererer engelsk tekst autoregressivt. I modsætning til tidligere tilgange producerer den ikke først mellemliggende glosslister eller håndkodede sproglige repræsentationer . Modellen oversætter snarere end transskriberer – den producerer naturligt engelsk, ikke en ord-for-ord-gengivelse af ASL-tegn.

Benchmark-resultater: State-of-the-art, men leverandørrapporterede

På FLEURS-ASL, et zero-shot-evalueringsdatasæt med komplekst, abstrakt sprog optaget i studiemiljø af certificerede døve tolke, opnår SL2T 70 BLEURT, hvilket Google siger er langt over tidligere rapporterede resultater . Yderligere benchmark-resultater omfatter:

• 74 BLEURT på en enhåndsvariant af FLEURS-ASL
• 85 BLEURT på PRESTO-ASL, et datasæt med AI-assistent-fraser
• 64 % nøjagtig matchning på FSboard, et fingeralfabet-datasæt indsamlet fra døve tegnsprogsbrugere på mobilenheder

Det er vigtigt at bemærke, at disse tal er leverandørrapporterede; der er ikke offentliggjort nogen uafhængig evaluering ved lanceringen.

Styring og begrænsninger: Bygget med sikkerhedsforanstaltninger

Det rådgivende udvalg for AI-tegnsprog

Google har nedsat et eksternt AI Sign Language Advisory Committee (AISLAC) med repræsentanter fra National Association of the Deaf (NAD), RIT/NTID, DPAN og World Federation of the Deaf (WFD). AISLAC var medforfatter på den fælles konsekvensrapport, der definerer modellens driftsgrænser og begrænsninger .

Forbudte brugssituationer

SL2T er udtrykkeligt designet og evalueret kun til lavrisiko, uformelle situationer som tekst-diktering, beskeder, søgeforespørgsler og en-til-en-samtaler (f.eks. på en café eller i en butik). Højrisiko- eller flerpersonssamtaler i medicinske, juridiske og akademiske sammenhænge er uden for modellens anvendelsesområde .

ADA-ansvarsfraskrivelse

Google understreger i sin dokumentation, at SL2T ikke erstatter professionelle tolketjenester og ikke bør anvendes i situationer, hvor kommunikationsfejl kan forårsage skade .

Kendte tekniske begrænsninger

• Forringelse i svagt lys: Ydeevnen falder i dårlig belysning, fordi MediaPipe Holistic-landmarks bliver mindre pålidelige .
• Kun én tegnsprogsbruger ad gangen: Modellen håndterer kun én person ad gangen; den kan ikke fortolke flerpersons-tegnsprogssamtaler .
• 60 sekunders klipgrænse: Individuelle oversættelsessegmenter er begrænset til cirka 60 sekunders tegnsprog .
• Ingen træningsdata for børn under 18: Modellen kan være mindre præcis for yngre brugere, da træningsdata udelukker tegnsprogsbrugere under 18 år .
• 2D-repræsentationens begrænsninger: Landmarksystemet registrerer ikke tungebevægelser eller dybde, hvilket gør det svært at skelne mellem kontakt og svævende hænder – begge sprogligt betydningsfulde i ASL .

Sam Sepahs rolle

Sam Sepah, en døv Google-medarbejder og medlem af tegnsprogsteamet, spillede en central rolle i udviklingen af SL2T. Han er medforfatter på publikationen af FSboard-datasættet, der blev brugt i modellens evaluering . Googles blog og den fælles konsekvensrapport understreger, at teamet arbejdede tæt sammen med døve Google-medarbejdere – herunder Sepah – gennem test før lancering for at afdække modeladfærd og grænsefladeproblemer, som benchmarks alene ikke kunne fange .