Google DeepMind SL2T: El Pixel 11 y la revolución de la lengua de señas a texto

El 12 de agosto de 2026, Google DeepMind lanzó SL2T (sign-language-to-text), un modelo transformador masivamente multilingüe que traduce video de lengua de señas directamente a texto escrito. Es la primera función de IA para lengua de señas que llega a un teléfono de consumo . Inicialmente compatible con la Lengua de Señas Americana (ASL) al inglés, SL2T permite el dictado de señas a texto en Gboard (para escribir, buscar y enviar mensajes) y Live Transcribe (para conversaciones informales uno a uno) en la familia Pixel 11 . Este lanzamiento representa un avance de la investigación al producto final, pero viene con límites y limitaciones definidas.

Cómo funciona SL2T

Datos de entrenamiento: más de 100,000 horas, más de 50 lenguas de señas

SL2T se entrenó con más de 100,000 horas de video de lengua de señas que abarcan más de 50 lenguas de señas, con aproximadamente una cuarta parte de esos datos en ASL . Al entrenar conjuntamente con múltiples lenguas de señas, dialectos y niveles de competencia, la investigación de Google descubrió que el modelo supera a los sistemas de una sola lengua: aprende patrones estructurales compartidos que mejoran la generalización . Es importante destacar que los datos de entrenamiento excluyen intencionalmente a firmantes menores de 18 años, lo que podría reducir la precisión para usuarios más jóvenes .

Seguimiento de puntos de referencia en el dispositivo: solo las coordenadas salen del teléfono

El sistema está diseñado para la privacidad. La cámara del teléfono ejecuta MediaPipe Holistic, extrayendo coordenadas de puntos de referencia 2D para 130 puntos clave (cara, cuerpo, manos) fotograma a fotograma. El video en bruto de la cámara se descarta inmediatamente y nunca sale del dispositivo . Solo estas coordenadas geométricas abstractas se envían a los servidores de Google para la traducción, y no se conservan registros de las entradas o salidas del usuario sin autorización explícita . La representación de puntos de referencia 2D no rastrea los puntos de la lengua ni proporciona orden de profundidad, lo que dificulta distinguir entre el contacto de las manos y el movimiento de cernido (hovering), ambos importantes en ASL .

Traducción directa de pose a texto: sin glosas, traducción autorregresiva

SL2T utiliza un transformador que se condiciona directamente a la secuencia de coordenadas de los puntos de referencia y genera texto en inglés de forma autorregresiva. A diferencia de enfoques anteriores, no genera primero glosas intermedias o representaciones lingüísticas codificadas a mano . El modelo traduce, no transcribe; es decir, produce texto natural en inglés, no una asignación palabra por palabra de los signos de ASL.

Rendimiento de referencia: estado del arte, pero informado por el proveedor

En FLEURS-ASL, un conjunto de datos de evaluación de aprendizaje cero (zero-shot) de lenguaje complejo y abstracto grabado en condiciones de estudio por intérpretes sordos certificados, SL2T obtiene 70 BLEURT, que Google afirma está muy por encima de cualquier resultado reportado anteriormente . Otros resultados de referencia incluyen:

• 74 BLEURT en una variante de una mano de FLEURS-ASL
• 85 BLEURT en PRESTO-ASL, un conjunto de datos de frases de asistente de IA
• 64 % de precisión de coincidencia exacta en FSboard, un conjunto de datos de deletreo con los dedos recopilado de firmantes sordos en dispositivos móviles

Es importante tener en cuenta que estas son cifras reportadas por el proveedor; no se ha publicado ninguna evaluación independiente hasta la fecha de lanzamiento.

Gobernanza y limitaciones: construido con barreras de seguridad

El Comité Asesor de IA en Lengua de Señas

Google convocó un Comité Asesor de IA en Lengua de Señas (AISLAC) externo, que incluye representantes de la Asociación Nacional de Sordos (NAD) de EE. UU., el RIT/NTID, DPAN y la Federación Mundial de Sordos (WFD). AISLAC coescribió el Informe de Impacto Conjunto que define los límites operativos y las limitaciones del modelo .

Contextos de uso prohibidos

SL2T está diseñado y evaluado explícitamente solo para situaciones informales y de bajo riesgo, como dictado de texto, mensajería, consultas de búsqueda y conversaciones uno a uno (por ejemplo, en una cafetería o comercio). Las conversaciones de alto riesgo o multipersona en entornos médicos, legales y académicos están fuera del alcance .

Aviso de la ADA (Ley de Estadounidenses con Discapacidades)

Google declara en su documentación que SL2T no es un sustituto de los servicios de interpretación profesional y no debe utilizarse en contextos donde los errores de comunicación puedan causar daños .

Limitaciones técnicas conocidas

• Degradación con poca luz: El rendimiento disminuye en condiciones de poca iluminación porque los puntos de referencia de MediaPipe Holistic se vuelven menos fiables .
• Soporte para un solo firmante: El modelo maneja solo un firmante a la vez; no puede interpretar conversaciones con múltiples participantes .
• Límite de clip de 60 segundos: Los segmentos de traducción individuales tienen un límite de aproximadamente 60 segundos de señas .
• Sin datos de entrenamiento de menores de 18 años: El modelo puede ser menos preciso para usuarios más jóvenes, ya que los datos de entrenamiento excluyen a firmantes menores de 18 años .
• Limitaciones de la representación 2D: El sistema de puntos de referencia no rastrea la articulación de la lengua ni proporciona orden de profundidad, lo que dificulta distinguir el contacto del movimiento de cernido, ambos lingüísticamente significativos en ASL .

El papel de Sam Sepah

Sam Sepah, un empleado sordo de Google y miembro del equipo de Lengua de Señas, desempeñó un papel central en el desarrollo de SL2T. Es coautor de la publicación del conjunto de datos FSboard utilizado en la evaluación del modelo . El blog de Google y el Informe de Impacto Conjunto enfatizan que el equipo trabajó en estrecha colaboración con empleados sordos de Google, incluido Sepah, durante las pruebas previas al lanzamiento para descubrir comportamientos del modelo y problemas de interfaz que los puntos de referencia por sí solos no podían capturar .