Google DeepMind SL2T: O Modelo de IA que Traduz Língua de Sinais em Texto no Pixel 11

Como o SL2T Funciona

Treinamento com mais de 100 mil horas de vídeo

O modelo SL2T foi treinado com um volume massivo de dados: mais de 100 mil horas de vídeos em língua de sinais, abrangendo mais de 50 línguas diferentes, com cerca de um quarto desses dados sendo em ASL . Ao treinar o modelo com múltiplas línguas simultaneamente, a Google descobriu que ele se torna mais eficiente, aprendendo padrões estruturais compartilhados que melhoram sua capacidade de generalização . Um ponto importante é que os dados de treinamento excluem intencionalmente sinalizantes menores de 18 anos, o que pode reduzir a precisão para usuários mais jovens .

Privacidade em primeiro lugar: apenas coordenadas saem do seu celular

A arquitetura do sistema foi desenhada para preservar a privacidade. A câmera do celular executa o MediaPipe Holistic, um modelo que extrai, quadro a quadro, as coordenadas 2D de 130 pontos-chave do corpo (rosto, tronco e mãos) da pessoa que está sinalizando. O vídeo bruto da câmera é descartado imediatamente e nunca sai do dispositivo . Apenas essas coordenadas geométricas abstratas são enviadas para os servidores da Google para a tradução, e nenhum registro das entradas ou saídas do usuário é mantido sem autorização explícita . É importante notar que essa representação 2D não rastreia os movimentos da língua nem fornece a profundidade dos gestos, o que pode dificultar a distinção entre, por exemplo, o toque e a proximidade da mão, nuances importantes na ASL .

Tradução direta: de coordenadas para texto

Diferente de abordagens mais antigas, o SL2T não passa por uma etapa intermediária de 'glosas' (anotações linguísticas). Ele é um modelo transformador que, a partir da sequência de coordenadas das landmarks, gera o texto em inglês diretamente, de forma autoregressiva . Em vez de transcrever os sinais palavra por palavra, o modelo traduz o significado para um inglês natural.

Desempenho: resultados de ponta, mas sem validação independente

A Google reporta que o SL2T atingiu resultados de ponta em benchmarks. No FLEURS-ASL, um conjunto de dados de avaliação com linguagem complexa e abstrata, gravado em estúdio por intérpretes surdos certificados, o modelo obteve 70 pontos no BLEURT, uma métrica de qualidade de tradução, superando de longe qualquer resultado publicado anteriormente . Outros resultados incluem:

• 74 BLEURT em uma variante do teste FLEURS-ASL com uma mão
• 85 BLEURT no PRESTO-ASL, um conjunto de dados com frases típicas de assistentes de IA
• 64% de precisão no FSboard, um teste de soletração com dados coletados de sinalizantes surdos em dispositivos móveis

É fundamental ressaltar que esses números são fornecidos pela própria Google. Nenhuma avaliação independente foi publicada até o momento do lançamento.

Governança e Limitações: Construído com Responsabilidade

O Comitê Consultivo de IA para Língua de Sinais

A Google criou um comitê consultivo externo, o AI Sign Language Advisory Committee (AISLAC), que inclui representantes de organizações como a National Association of the Deaf (NAD), o RIT/NTID, a DPAN e a World Federation of the Deaf (WFD). Este comitê foi coautor do 'Relatório de Impacto Conjunto' que define os limites operacionais e as restrições do modelo .

Onde o SL2T não deve ser usado

A Google é clara: o SL2T foi projetado e testado apenas para situações informais e de baixo risco, como digitar uma mensagem, fazer uma pesquisa ou uma conversa rápida em um café. O modelo não é indicado para contextos de alto risco ou conversas com múltiplas pessoas, como em consultas médicas, processos jurídicos ou salas de aula .

Aviso importante: não substitui um intérprete

Em sua documentação, a Google afirma que o SL2T não substitui os serviços de um intérprete profissional de língua de sinais e não deve ser usado em situações onde erros de comunicação possam causar danos .

Limitações técnicas conhecidas

• Desempenho em ambientes escuros: A qualidade da tradução cai em locais com pouca luz, pois o MediaPipe Holistic tem mais dificuldade para identificar os pontos de referência .
• Suporte para um sinalizante por vez: O modelo atualmente só consegue processar uma pessoa sinalizando por vez, não sendo capaz de interpretar uma conversa em grupo .
• Clipes de até 60 segundos: As traduções são limitadas a aproximadamente 60 segundos de sinalização .
• Sem dados de menores de 18 anos: Como o treinamento excluiu sinalizantes jovens, o modelo pode ser menos preciso para esse público .
• Limitações da representação 2D: A falta de profundidade e o não rastreamento da língua dificultam a compreensão de sinais que dependem desses detalhes .

O Papel de Sam Sepah

Sam Sepah, um funcionário surdo da Google e membro da equipe de Língua de Sinais, foi uma peça-chave no desenvolvimento do SL2T. Ele é coautor da publicação do conjunto de dados FSboard, que foi usado na avaliação do modelo . A Google enfatiza que a equipe trabalhou em estreita colaboração com funcionários surdos como Sepah durante os testes de pré-lançamento para identificar comportamentos do modelo e problemas de interface que os benchmarks sozinhos não conseguiriam revelar .