Comment fonctionne SL2T

Données d'entraînement : plus de 100 000 heures, plus de 50 langues des signes

SL2T a été entraîné sur plus de 100 000 heures de vidéo en langue des signes couvrant plus de 50 langues des signes, dont environ un quart en ASL . En s'entraînant conjointement sur plusieurs langues des signes, dialectes et niveaux de compétence, la recherche de Google a constaté que le modèle surpasse les systèmes monolingues — apprenant des schémas structurels partagés qui améliorent la généralisation . Il est à noter que les données d'entraînement excluent intentionnellement les signeurs de moins de 18 ans, ce qui pourrait réduire la précision pour les jeunes utilisateurs .

Suivi des points de repère sur l'appareil : seules les coordonnées quittent votre téléphone

Le système est conçu pour la confidentialité. La caméra du téléphone exécute MediaPipe Holistic, qui extrait les coordonnées 2D de 130 points clés (visage, corps, mains) image par image. La vidéo brute de la caméra est ensuite immédiatement supprimée et ne quitte jamais l'appareil . Seules ces coordonnées géométriques abstraites sont envoyées aux serveurs de Google pour traduction, et aucun journal des entrées ou sorties utilisateur n'est conservé sans autorisation explicite . La représentation 2D des points de repère ne suit pas les points de repère de la langue ni ne fournit d'ordre de profondeur, ce qui rend plus difficile la distinction entre le contact et le survol de la main — deux éléments importants en ASL .

Traduction directe posture-à-texte : traduction autorégressive sans glossaire

SL2T utilise un transformeur qui se conditionne directement sur la séquence de coordonnées des points de repère et génère du texte anglais de manière autorégressive. Contrairement aux approches antérieures, il ne produit pas d'abord des glossaires intermédiaires ou des représentations linguistiques codées à la main . Le modèle traduit plutôt qu'il ne transcrit — ce qui signifie qu'il produit un texte anglais naturel, pas un mot-à-mot des signes ASL.

Performances de référence : état de l'art mais chiffres fournis par le vendeur

Sur FLEURS-ASL, un ensemble d'évaluation zero-shot de langage complexe et abstrait enregistré en conditions de studio par des interprètes sourds certifiés, SL2T obtient un score de 70 BLEURT, ce que Google dit être bien supérieur à tout résultat précédemment rapporté . Parmi les autres résultats de référence :

• 74 BLEURT sur une variante à une main de FLEURS-ASL
• 85 BLEURT sur PRESTO-ASL, un ensemble de données de phrases de style assistant IA
• 64 % de précision de correspondance exacte sur FSboard, un ensemble de données d'épellation digitale collecté auprès de signeurs sourds sur des appareils mobiles

Il est important de noter qu'il s'agit de chiffres fournis par le vendeur ; aucune évaluation indépendante n'a été publiée à ce jour.

Gouvernance et limites : construit avec des garde-fous

Le comité consultatif sur l'IA de la langue des signes

Google a réuni un comité consultatif externe sur l'IA de la langue des signes (AISLAC), qui comprend des représentants de la National Association of the Deaf (NAD), du RIT/NTID, du DPAN et de la World Federation of the Deaf (WFD). L'AISLAC a co-écrit le rapport d'impact conjoint qui définit les limites opérationnelles et les contraintes du modèle .

Contextes d'utilisation interdits

SL2T est explicitement conçu et évalué uniquement pour des situations informelles à faible risque telles que la dictée de texte, la messagerie, les requêtes de recherche et les conversations en tête-à-tête (par exemple, dans un café ou un commerce). Les conversations à enjeux élevés ou multipartites dans des contextes médicaux, juridiques et académiques sont hors de portée .

Clause de non-responsabilité ADA

Google indique dans sa documentation que SL2T ne remplace pas les services d'interprétation professionnels et ne doit pas être utilisé dans des contextes où des erreurs de communication pourraient causer un préjudice .

Contraintes techniques connues

• Dégradation en faible luminosité : les performances chutent dans des conditions de faible éclairage car les points de repère de MediaPipe Holistic deviennent moins fiables .
• Prise en charge d'un seul signeur : le modèle ne gère qu'un seul signeur à la fois ; il ne peut pas interpréter les conversations signées multipartites .
• Limite de clip de 60 secondes : les segments de traduction individuels sont plafonnés à environ 60 secondes de signes .
• Aucune donnée d'entraînement pour les moins de 18 ans : le modèle peut être moins précis pour les jeunes utilisateurs, car les données d'entraînement excluent les signeurs de moins de 18 ans .
• Limites de la représentation 2D : le système de points de repère ne suit pas l'articulation de la langue ni ne fournit d'ordre de profondeur, ce qui rend difficile la distinction entre le contact et le survol — deux éléments linguistiquement significatifs en ASL .

Le rôle de Sam Sepah

Sam Sepah, un employé sourd de Google et membre de l'équipe Langue des signes, a joué un rôle central dans le développement de SL2T. Il est co-auteur de la publication de l'ensemble de données FSboard utilisé dans l'évaluation du modèle . Le blog de Google et le rapport d'impact conjoint soulignent que l'équipe a travaillé en étroite collaboration avec les employés sourds de Google — dont Sepah — tout au long des tests de pré-lancement pour découvrir des comportements du modèle et des problèmes d'interface que les seuls benchmarks ne pouvaient pas capturer .

Comment fonctionne SL2T

Données d'entraînement : plus de 100 000 heures, plus de 50 langues des signes

SL2T a été entraîné sur plus de 100 000 heures de vidéo en langue des signes couvrant plus de 50 langues des signes, dont environ un quart en ASL . En s'entraînant conjointement sur plusieurs langues des signes, dialectes et niveaux de compétence, la recherche de Google a constaté que le modèle surpasse les systèmes monolingues — apprenant des schémas structurels partagés qui améliorent la généralisation . Il est à noter que les données d'entraînement excluent intentionnellement les signeurs de moins de 18 ans, ce qui pourrait réduire la précision pour les jeunes utilisateurs .

Suivi des points de repère sur l'appareil : seules les coordonnées quittent votre téléphone

Le système est conçu pour la confidentialité. La caméra du téléphone exécute MediaPipe Holistic, qui extrait les coordonnées 2D de 130 points clés (visage, corps, mains) image par image. La vidéo brute de la caméra est ensuite immédiatement supprimée et ne quitte jamais l'appareil . Seules ces coordonnées géométriques abstraites sont envoyées aux serveurs de Google pour traduction, et aucun journal des entrées ou sorties utilisateur n'est conservé sans autorisation explicite . La représentation 2D des points de repère ne suit pas les points de repère de la langue ni ne fournit d'ordre de profondeur, ce qui rend plus difficile la distinction entre le contact et le survol de la main — deux éléments importants en ASL .

Traduction directe posture-à-texte : traduction autorégressive sans glossaire

SL2T utilise un transformeur qui se conditionne directement sur la séquence de coordonnées des points de repère et génère du texte anglais de manière autorégressive. Contrairement aux approches antérieures, il ne produit pas d'abord des glossaires intermédiaires ou des représentations linguistiques codées à la main . Le modèle traduit plutôt qu'il ne transcrit — ce qui signifie qu'il produit un texte anglais naturel, pas un mot-à-mot des signes ASL.

Performances de référence : état de l'art mais chiffres fournis par le vendeur

Sur FLEURS-ASL, un ensemble d'évaluation zero-shot de langage complexe et abstrait enregistré en conditions de studio par des interprètes sourds certifiés, SL2T obtient un score de 70 BLEURT, ce que Google dit être bien supérieur à tout résultat précédemment rapporté . Parmi les autres résultats de référence :

• 74 BLEURT sur une variante à une main de FLEURS-ASL
• 85 BLEURT sur PRESTO-ASL, un ensemble de données de phrases de style assistant IA
• 64 % de précision de correspondance exacte sur FSboard, un ensemble de données d'épellation digitale collecté auprès de signeurs sourds sur des appareils mobiles

Il est important de noter qu'il s'agit de chiffres fournis par le vendeur ; aucune évaluation indépendante n'a été publiée à ce jour.

Gouvernance et limites : construit avec des garde-fous

Le comité consultatif sur l'IA de la langue des signes

Google a réuni un comité consultatif externe sur l'IA de la langue des signes (AISLAC), qui comprend des représentants de la National Association of the Deaf (NAD), du RIT/NTID, du DPAN et de la World Federation of the Deaf (WFD). L'AISLAC a co-écrit le rapport d'impact conjoint qui définit les limites opérationnelles et les contraintes du modèle .

Contextes d'utilisation interdits

SL2T est explicitement conçu et évalué uniquement pour des situations informelles à faible risque telles que la dictée de texte, la messagerie, les requêtes de recherche et les conversations en tête-à-tête (par exemple, dans un café ou un commerce). Les conversations à enjeux élevés ou multipartites dans des contextes médicaux, juridiques et académiques sont hors de portée .

Clause de non-responsabilité ADA

Google indique dans sa documentation que SL2T ne remplace pas les services d'interprétation professionnels et ne doit pas être utilisé dans des contextes où des erreurs de communication pourraient causer un préjudice .

Contraintes techniques connues

• Dégradation en faible luminosité : les performances chutent dans des conditions de faible éclairage car les points de repère de MediaPipe Holistic deviennent moins fiables .
• Prise en charge d'un seul signeur : le modèle ne gère qu'un seul signeur à la fois ; il ne peut pas interpréter les conversations signées multipartites .
• Limite de clip de 60 secondes : les segments de traduction individuels sont plafonnés à environ 60 secondes de signes .
• Aucune donnée d'entraînement pour les moins de 18 ans : le modèle peut être moins précis pour les jeunes utilisateurs, car les données d'entraînement excluent les signeurs de moins de 18 ans .
• Limites de la représentation 2D : le système de points de repère ne suit pas l'articulation de la langue ni ne fournit d'ordre de profondeur, ce qui rend difficile la distinction entre le contact et le survol — deux éléments linguistiquement significatifs en ASL .

Le rôle de Sam Sepah

Sam Sepah, un employé sourd de Google et membre de l'équipe Langue des signes, a joué un rôle central dans le développement de SL2T. Il est co-auteur de la publication de l'ensemble de données FSboard utilisé dans l'évaluation du modèle . Le blog de Google et le rapport d'impact conjoint soulignent que l'équipe a travaillé en étroite collaboration avec les employés sourds de Google — dont Sepah — tout au long des tests de pré-lancement pour découvrir des comportements du modèle et des problèmes d'interface que les seuls benchmarks ne pouvaient pas capturer .