Come funziona SL2T

Dati di addestramento: oltre 100.000 ore e più di 50 lingue dei segni

SL2T è stato addestrato su più di 100.000 ore di video in lingua dei segni che coprono oltre 50 lingue dei segni, con circa un quarto di quei dati in ASL . Addestrando il modello su più lingue, dialetti e livelli di competenza, il team di Google ha scoperto che il modello supera i sistemi monolingua, imparando schemi strutturali condivisi che migliorano la generalizzazione . È importante notare che i dati di addestramento escludono intenzionalmente i firmatari sotto i 18 anni, il che potrebbe ridurre la precisione per gli utenti più giovani .

Tracciamento dei punti di riferimento sul dispositivo: solo coordinate lasciano il telefono

Il sistema è progettato per la privacy. La fotocamera del telefono esegue MediaPipe Holistic, che estrae le coordinate 2D di 130 punti di riferimento (viso, corpo, mani) fotogramma per fotogramma. Il video grezzo della fotocamera viene poi immediatamente eliminato e non lascia mai il dispositivo . Solo queste coordinate geometriche astratte vengono inviate ai server di Google per la traduzione, e nessun log degli input o output dell'utente viene conservato senza esplicita autorizzazione . La rappresentazione 2D dei punti di riferimento non traccia i movimenti della lingua e non fornisce un ordinamento in profondità, rendendo più difficile distinguere tra contatto manuale e mani che si sfiorano, entrambi importanti in ASL .

Traduzione diretta posa-testo: traduzione autoregressiva senza gloss

SL2T utilizza un trasformatore che elabora direttamente la sequenza di coordinate dei punti di riferimento e genera testo in inglese in modo autoregressivo. A differenza degli approcci precedenti, non produce prima gloss intermedi o rappresentazioni linguistiche codificate a mano . Il modello traduce anziché trascrivere, producendo testo in inglese naturale e non una mappatura parola per parola dei segni ASL.

Prestazioni di benchmark: all'avanguardia ma riportati dal produttore

Su FLEURS-ASL, un dataset di valutazione zero-shot di linguaggio complesso e astratto registrato in condizioni di studio da interpreti certificati sordi, SL2T ha ottenuto un punteggio di 70 BLEURT, che secondo Google è molto superiore a qualsiasi risultato precedentemente riportato . Altri risultati includono:

• 74 BLEURT su una variante con una mano di FLEURS-ASL
• 85 BLEURT su PRESTO-ASL, un dataset di frasi stile assistente AI
• 64% di precisione di corrispondenza esatta su FSboard, un dataset di fingerspelling raccolto da firmatari sordi su dispositivi mobili

È importante notare che questi dati sono forniti dal produttore; al momento del lancio, non è stata pubblicata alcuna valutazione indipendente.

Governance e limiti: costruito con delle protezioni

Il Comitato Consultivo per l'IA della Lingua dei Segni

Google ha istituito un Comitato Consultivo Esterno per l'IA della Lingua dei Segni (AISLAC) che include rappresentanti della National Association of the Deaf (NAD) degli Stati Uniti, del RIT/NTID, del DPAN e della World Federation of the Deaf (WFD). L'AISLAC ha co-redatto il Joint Impact Report che definisce i confini operativi e le limitazioni del modello .

Contesti d'uso vietati

SL2T è esplicitamente progettato e valutato solo per situazioni informali e a basso rischio come la dettatura di testi, la messaggistica, le query di ricerca e le conversazioni uno contro uno (ad esempio, in un bar o in un negozio). Le conversazioni in contesti ad alto rischio o multi-persona in ambiti medici, legali e accademici sono fuori dal suo scopo .

Dichiarazione di non responsabilità (ADA)

Google dichiara nella sua documentazione che SL2T non sostituisce i servizi di interpretariato professionale e non dovrebbe essere utilizzato in contesti in cui errori di comunicazione potrebbero causare danni .

Vincoli tecnici noti

• Degrado in condizioni di scarsa illuminazione: le prestazioni diminuiscono in condizioni di scarsa illuminazione perché i punti di riferimento di MediaPipe Holistic diventano meno affidabili .
• Supporto per un solo firmatario: il modello gestisce solo un firmatario alla volta; non può interpretare conversazioni firmate multi-persona .
• Limite di clip di 60 secondi: i segmenti di traduzione individuali sono limitati a circa 60 secondi di segni .
• Nessun dato di addestramento sotto i 18 anni: il modello potrebbe essere meno preciso per gli utenti più giovani, poiché i dati di addestramento escludono i firmatari sotto i 18 anni .
• Limiti della rappresentazione 2D: il sistema di punti di riferimento non traccia l'articolazione della lingua né fornisce un ordinamento in profondità, rendendo difficile distinguere il contatto dal semplice sfioramento, entrambi linguisticamente significativi in ASL .

Il ruolo di Sam Sepah

Sam Sepah, un dipendente sordo di Google e membro del team per la Lingua dei Segni, ha avuto un ruolo centrale nello sviluppo di SL2T. È co-autore della pubblicazione del dataset FSboard utilizzato nella valutazione del modello . Il blog di Google e il Joint Impact Report sottolineano che il team ha lavorato a stretto contatto con i dipendenti sordi di Google, incluso Sepah, durante i test pre-rilascio per scoprire comportamenti del modello e problemi di interfaccia che i soli benchmark non potevano cogliere .

Come funziona SL2T

Dati di addestramento: oltre 100.000 ore e più di 50 lingue dei segni

SL2T è stato addestrato su più di 100.000 ore di video in lingua dei segni che coprono oltre 50 lingue dei segni, con circa un quarto di quei dati in ASL . Addestrando il modello su più lingue, dialetti e livelli di competenza, il team di Google ha scoperto che il modello supera i sistemi monolingua, imparando schemi strutturali condivisi che migliorano la generalizzazione . È importante notare che i dati di addestramento escludono intenzionalmente i firmatari sotto i 18 anni, il che potrebbe ridurre la precisione per gli utenti più giovani .

Tracciamento dei punti di riferimento sul dispositivo: solo coordinate lasciano il telefono

Il sistema è progettato per la privacy. La fotocamera del telefono esegue MediaPipe Holistic, che estrae le coordinate 2D di 130 punti di riferimento (viso, corpo, mani) fotogramma per fotogramma. Il video grezzo della fotocamera viene poi immediatamente eliminato e non lascia mai il dispositivo . Solo queste coordinate geometriche astratte vengono inviate ai server di Google per la traduzione, e nessun log degli input o output dell'utente viene conservato senza esplicita autorizzazione . La rappresentazione 2D dei punti di riferimento non traccia i movimenti della lingua e non fornisce un ordinamento in profondità, rendendo più difficile distinguere tra contatto manuale e mani che si sfiorano, entrambi importanti in ASL .

Traduzione diretta posa-testo: traduzione autoregressiva senza gloss

SL2T utilizza un trasformatore che elabora direttamente la sequenza di coordinate dei punti di riferimento e genera testo in inglese in modo autoregressivo. A differenza degli approcci precedenti, non produce prima gloss intermedi o rappresentazioni linguistiche codificate a mano . Il modello traduce anziché trascrivere, producendo testo in inglese naturale e non una mappatura parola per parola dei segni ASL.

Prestazioni di benchmark: all'avanguardia ma riportati dal produttore

Su FLEURS-ASL, un dataset di valutazione zero-shot di linguaggio complesso e astratto registrato in condizioni di studio da interpreti certificati sordi, SL2T ha ottenuto un punteggio di 70 BLEURT, che secondo Google è molto superiore a qualsiasi risultato precedentemente riportato . Altri risultati includono:

• 74 BLEURT su una variante con una mano di FLEURS-ASL
• 85 BLEURT su PRESTO-ASL, un dataset di frasi stile assistente AI
• 64% di precisione di corrispondenza esatta su FSboard, un dataset di fingerspelling raccolto da firmatari sordi su dispositivi mobili

È importante notare che questi dati sono forniti dal produttore; al momento del lancio, non è stata pubblicata alcuna valutazione indipendente.

Governance e limiti: costruito con delle protezioni

Il Comitato Consultivo per l'IA della Lingua dei Segni

Google ha istituito un Comitato Consultivo Esterno per l'IA della Lingua dei Segni (AISLAC) che include rappresentanti della National Association of the Deaf (NAD) degli Stati Uniti, del RIT/NTID, del DPAN e della World Federation of the Deaf (WFD). L'AISLAC ha co-redatto il Joint Impact Report che definisce i confini operativi e le limitazioni del modello .

Contesti d'uso vietati

SL2T è esplicitamente progettato e valutato solo per situazioni informali e a basso rischio come la dettatura di testi, la messaggistica, le query di ricerca e le conversazioni uno contro uno (ad esempio, in un bar o in un negozio). Le conversazioni in contesti ad alto rischio o multi-persona in ambiti medici, legali e accademici sono fuori dal suo scopo .

Dichiarazione di non responsabilità (ADA)

Google dichiara nella sua documentazione che SL2T non sostituisce i servizi di interpretariato professionale e non dovrebbe essere utilizzato in contesti in cui errori di comunicazione potrebbero causare danni .

Vincoli tecnici noti

• Degrado in condizioni di scarsa illuminazione: le prestazioni diminuiscono in condizioni di scarsa illuminazione perché i punti di riferimento di MediaPipe Holistic diventano meno affidabili .
• Supporto per un solo firmatario: il modello gestisce solo un firmatario alla volta; non può interpretare conversazioni firmate multi-persona .
• Limite di clip di 60 secondi: i segmenti di traduzione individuali sono limitati a circa 60 secondi di segni .
• Nessun dato di addestramento sotto i 18 anni: il modello potrebbe essere meno preciso per gli utenti più giovani, poiché i dati di addestramento escludono i firmatari sotto i 18 anni .
• Limiti della rappresentazione 2D: il sistema di punti di riferimento non traccia l'articolazione della lingua né fornisce un ordinamento in profondità, rendendo difficile distinguere il contatto dal semplice sfioramento, entrambi linguisticamente significativi in ASL .

Il ruolo di Sam Sepah

Sam Sepah, un dipendente sordo di Google e membro del team per la Lingua dei Segni, ha avuto un ruolo centrale nello sviluppo di SL2T. È co-autore della pubblicazione del dataset FSboard utilizzato nella valutazione del modello . Il blog di Google e il Joint Impact Report sottolineano che il team ha lavorato a stretto contatto con i dipendenti sordi di Google, incluso Sepah, durante i test pre-rilascio per scoprire comportamenti del modello e problemi di interfaccia che i soli benchmark non potevano cogliere .