Как работает SL2T

Данные для обучения: 100 000+ часов, 50+ языков жестов

SL2T обучалась на более чем 100 000 часов видео с языком жестов, охватывающих свыше 50 языков жестов, причём примерно четверть данных приходится на ASL . Благодаря совместному обучению на нескольких языках, диалектах и уровнях влащения, исследователи Google обнаружили, что модель превосходит одноязычные системы — она усваивает общие структурные закономерности, улучшающие обобщение . Важно отметить, что из обучающих данных намеренно исключены носители языка младше 18 лет, что может снизить точность для молодых пользователей .

Отслеживание ориентиров на устройстве: за пределы телефона уходят только координаты

Система спроектирована с учётом конфиденциальности. Камера телефона запускает MediaPipe Holistic, который покадрово извлекает 2D-координаты 130 ключевых точек (лицо, тело, кисти рук). После этого исходное видео немедленно удаляется и никогда не покидает устройство . На серверы Google для перевода отправляются только эти абстрактные геометрические координаты, и никакие журналы ввода или вывода не сохраняются без явного разрешения пользователя . 2D-представление ориентиров не отслеживает точки языка и не передаёт глубину, что затрудняет различение контакта и зависания рук — оба этих понятия важны для ASL .

Прямой перевод «поза-текст»: без глосс, авторегрессионный перевод

SL2T использует трансформер, который обрабатывает последовательность координат ориентиров и авторегрессионно генерирует английский текст. В отличие от более ранних подходов, модель не выдаёт промежуточные глоссы или специальные лингвистические представления . Она именно переводит, а не транскрибирует — то есть создаёт естественный английский текст, а не пословное отображение знаков ASL.

Производительность на тестах: передовые показатели, но данные от разработчика

На наборе данных FLEURS-ASL — оценочном датасете для zero-shot сценариев, состоящем из сложных, абстрактных высказываний, записанных в студийных условиях сертифицированными глухими переводчиками, — SL2T набирает 70 BLEURT. По словам Google, это намного выше любого ранее опубликованного результата . Дополнительные результаты бенчмарков включают:

• 74 BLEURT на одноруком варианте FLEURS-ASL
• 85 BLEURT на PRESTO-ASL — наборе фраз в стиле ИИ-ассистента
• 64% точного совпадения на FSboard — датасете с дактилемой (пальцевой азбукой), собранном у глухих носителей языка на мобильных устройствах

Важно отметить: эти цифры предоставлены разработчиком; на момент запуска независимая оценка не публиковалась.

Управление и ограничения: создано с защитными механизмами

Консультативный комитет по ИИ для языка жестов

Google создал внешний Консультативный комитет по ИИ для языка жестов (AI Sign Language Advisory Committee, AISLAC). В него вошли представители Национальной ассоциации глухих (NAD), RIT/NTID, DPAN и Всемирной федерации глухих (WFD). AISLAC выступил соавтором Совместного отчёта о воздействии (Joint Impact Report), в котором определены границы применения модели и её ограничения .

Запрещённые сценарии использования

SL2T разработана и оценивается исключительно для неформальных ситуаций с низким уровнем риска: ввод текста, обмен сообщениями, поисковые запросы и беседы один на один (например, в кафе или магазине). Ситуации с высокими ставками или многосторонние разговоры в медицинских, юридических и академических учреждениях находятся вне зоны ответственности модели .

Отказ от ответственности по закону ADA

В документации Google указано, что SL2T не является заменой профессиональных услуг переводчика жестового языка и на неё не следует полагаться в ситуациях, где ошибки в общении могут причинить вред .

Известные технические ограничения

• Ухудшение работы при слабом освещении: Точность падает в условиях плохого освещения, так как ориентиры MediaPipe Holistic становятся менее надёжными .
• Только один говорящий: Модель работает только с одним носителем языка в каждый момент времени; она не может интерпретировать многосторонние беседы на жестовом языке .
• Лимит в 60 секунд: Длина отдельных сегментов перевода ограничена примерно 60 секундами непрерывного жестикулирования .
• Нет данных о носителях младше 18 лет: Из-за исключения этой возрастной группы из обучающих данных модель может быть менее точной для молодых пользователей .
• Ограничения 2D-представления: Система не отслеживает артикуляцию языка и не обеспечивает упорядочивание по глубине, что затрудняет различение контакта и зависания рук — оба этих аспекта лингвистически значимы в ASL .

Роль Сэма Сепы

Сэм Сепа (Sam Sepah), глухой сотрудник Google и участник команды по языку жестов, сыграл ключевую роль в разработке SL2T. Он является соавтором публикации о датасете FSboard, который использовался при оценке модели . В блоге Google и в Совместном отчёте о воздействии подчёркивается, что команда тесно сотрудничала с глухими сотрудниками Google — включая Сепу — на протяжении всего этапа предрелизного тестирования, чтобы выявить особенности поведения модели и проблемы интерфейса, которые невозможно было обнаружить с помощью одних лишь тестов .

Как работает SL2T

Данные для обучения: 100 000+ часов, 50+ языков жестов

SL2T обучалась на более чем 100 000 часов видео с языком жестов, охватывающих свыше 50 языков жестов, причём примерно четверть данных приходится на ASL . Благодаря совместному обучению на нескольких языках, диалектах и уровнях влащения, исследователи Google обнаружили, что модель превосходит одноязычные системы — она усваивает общие структурные закономерности, улучшающие обобщение . Важно отметить, что из обучающих данных намеренно исключены носители языка младше 18 лет, что может снизить точность для молодых пользователей .

Отслеживание ориентиров на устройстве: за пределы телефона уходят только координаты

Система спроектирована с учётом конфиденциальности. Камера телефона запускает MediaPipe Holistic, который покадрово извлекает 2D-координаты 130 ключевых точек (лицо, тело, кисти рук). После этого исходное видео немедленно удаляется и никогда не покидает устройство . На серверы Google для перевода отправляются только эти абстрактные геометрические координаты, и никакие журналы ввода или вывода не сохраняются без явного разрешения пользователя . 2D-представление ориентиров не отслеживает точки языка и не передаёт глубину, что затрудняет различение контакта и зависания рук — оба этих понятия важны для ASL .

Прямой перевод «поза-текст»: без глосс, авторегрессионный перевод

SL2T использует трансформер, который обрабатывает последовательность координат ориентиров и авторегрессионно генерирует английский текст. В отличие от более ранних подходов, модель не выдаёт промежуточные глоссы или специальные лингвистические представления . Она именно переводит, а не транскрибирует — то есть создаёт естественный английский текст, а не пословное отображение знаков ASL.

Производительность на тестах: передовые показатели, но данные от разработчика

На наборе данных FLEURS-ASL — оценочном датасете для zero-shot сценариев, состоящем из сложных, абстрактных высказываний, записанных в студийных условиях сертифицированными глухими переводчиками, — SL2T набирает 70 BLEURT. По словам Google, это намного выше любого ранее опубликованного результата . Дополнительные результаты бенчмарков включают:

• 74 BLEURT на одноруком варианте FLEURS-ASL
• 85 BLEURT на PRESTO-ASL — наборе фраз в стиле ИИ-ассистента
• 64% точного совпадения на FSboard — датасете с дактилемой (пальцевой азбукой), собранном у глухих носителей языка на мобильных устройствах

Важно отметить: эти цифры предоставлены разработчиком; на момент запуска независимая оценка не публиковалась.

Управление и ограничения: создано с защитными механизмами

Консультативный комитет по ИИ для языка жестов

Google создал внешний Консультативный комитет по ИИ для языка жестов (AI Sign Language Advisory Committee, AISLAC). В него вошли представители Национальной ассоциации глухих (NAD), RIT/NTID, DPAN и Всемирной федерации глухих (WFD). AISLAC выступил соавтором Совместного отчёта о воздействии (Joint Impact Report), в котором определены границы применения модели и её ограничения .

Запрещённые сценарии использования

SL2T разработана и оценивается исключительно для неформальных ситуаций с низким уровнем риска: ввод текста, обмен сообщениями, поисковые запросы и беседы один на один (например, в кафе или магазине). Ситуации с высокими ставками или многосторонние разговоры в медицинских, юридических и академических учреждениях находятся вне зоны ответственности модели .

Отказ от ответственности по закону ADA

В документации Google указано, что SL2T не является заменой профессиональных услуг переводчика жестового языка и на неё не следует полагаться в ситуациях, где ошибки в общении могут причинить вред .

Известные технические ограничения

• Ухудшение работы при слабом освещении: Точность падает в условиях плохого освещения, так как ориентиры MediaPipe Holistic становятся менее надёжными .
• Только один говорящий: Модель работает только с одним носителем языка в каждый момент времени; она не может интерпретировать многосторонние беседы на жестовом языке .
• Лимит в 60 секунд: Длина отдельных сегментов перевода ограничена примерно 60 секундами непрерывного жестикулирования .
• Нет данных о носителях младше 18 лет: Из-за исключения этой возрастной группы из обучающих данных модель может быть менее точной для молодых пользователей .
• Ограничения 2D-представления: Система не отслеживает артикуляцию языка и не обеспечивает упорядочивание по глубине, что затрудняет различение контакта и зависания рук — оба этих аспекта лингвистически значимы в ASL .

Роль Сэма Сепы

Сэм Сепа (Sam Sepah), глухой сотрудник Google и участник команды по языку жестов, сыграл ключевую роль в разработке SL2T. Он является соавтором публикации о датасете FSboard, который использовался при оценке модели . В блоге Google и в Совместном отчёте о воздействии подчёркивается, что команда тесно сотрудничала с глухими сотрудниками Google — включая Сепу — на протяжении всего этапа предрелизного тестирования, чтобы выявить особенности поведения модели и проблемы интерфейса, которые невозможно было обнаружить с помощью одних лишь тестов .