Google DeepMind SL2T: Як Pixel 11 перетворює мову жестів на текст

Як працює SL2T

Дані для навчання: понад 100 000 годин, понад 50 мов жестів

SL2T навчали на понад 100 000 годинах відео з мовою жестів, що охоплює понад 50 мов, причому приблизно чверть цих даних припадає на ASL . Завдяки спільному навчанню на багатьох мовах, діалектах і рівнях володіння, дослідники Google виявили, що модель перевершує одномовні системи — вона вивчає спільні структурні закономірності, що покращує узагальнення . Важливо зазначити, що з навчальних даних навмисно виключено матеріали за участю осіб віком до 18 років, що може знизити точність для молодших користувачів .

Відстеження орієнтирів на пристрої: координати не залишають ваш телефон

Система спроєктована з урахуванням конфіденційності. Камера телефону запускає MediaPipe Holistic, який покадрово витягує 2D координати 130 ключових точок (обличчя, тіло, руки). Вихідне відео з камери одразу видаляється і ніколи не залишає пристрій . На сервери Google для перекладу передаються лише ці абстрактні геометричні координати, і жодних журналів введення чи виведення даних не зберігається без явного дозволу користувача . 2D-представлення орієнтирів не відстежує артикуляцію язика та не забезпечує глибини, що ускладнює розрізнення контакту руки та зависання — обидва аспекти важливі для ASL .

Прямий переклад пози в текст: без глос, авторегресивний переклад

SL2T використовує трансформер, який безпосередньо обробляє послідовність координат орієнтирів і авторегресивно генерує англійський текст. На відміну від попередніх підходів, він не створює проміжні глоси або лінгвістичні представлення . Модель саме перекладає, а не транскрибує — тобто вона видає природний англійський текст, а не дослівне відображення знаків ASL.

Продуктивність на тестах: заявлена як найкраща, але без незалежного підтвердження

На наборі даних FLEURS-ASL (нульовий тест на складній абстрактній мові, записаній у студійних умовах сертифікованими нечуючими перекладачами), SL2T отримує 70 BLEURT, що, за словами Google, значно перевищує всі раніше опубліковані результати . Інші показники продуктивності:

• 74 BLEURT на одній руці варіанта FLEURS-ASL
• 85 BLEURT на PRESTO-ASL, наборі даних фраз для ШІ-асистента
• 64% точності збігу на FSboard, наборі даних з дактильного мовлення, зібраному від нечуючих користувачів на мобільних пристроях

Важливо зазначити, що це показники, надані розробником; на момент запуску жодної незалежної оцінки опубліковано не було.

Управління та обмеження: створено з запобіжниками

Консультативний комітет зі ШІ для мови жестів

Google створив зовнішній Консультативний комітет зі ШІ для мови жестів (AISLAC), до якого увійшли представники Національної асоціації глухих (NAD), RIT/NTID, DPAN та Всесвітньої федерації глухих (WFD). AISLAC став співавтором Спільного звіту про вплив, який визначає операційні межі та обмеження моделі .

Заборонені контексти використання

SL2T чітко призначений і оцінений лише для некритичних, неформальних ситуацій, таких як диктування тексту, обмін повідомленнями, пошукові запити та розмови віч-на-віч (наприклад, у кав'ярні чи магазині). Високоризикові або багатосторонні розмови в медичних, юридичних та академічних закладах виходять за рамки використання .

Застереження відповідно до ADA

У своїй документації Google зазначає, що SL2T не є заміною професійних послуг перекладу і не повинен використовуватися в контекстах, де помилки комунікації можуть завдати шкоди .

Відомі технічні обмеження

• Погіршення при слабкому освітленні: Продуктивність падає в умовах поганого освітлення, оскільки орієнтири MediaPipe Holistic стають менш надійними .
• Підтримка лише одного мовця: Модель працює лише з одним мовцем за раз; вона не може інтерпретувати багатосторонні діалоги мовою жестів .
• Обмеження на 60 секунд: Окремі сегменти перекладу обмежені приблизно 60 секундами мовлення .
• Відсутність даних про осіб до 18 років: Модель може бути менш точною для молодших користувачів, оскільки навчальні дані виключають мовців віком до 18 років .
• Обмеження 2D-представлення: Система орієнтирів не відстежує артикуляцію язика та не забезпечує глибини, що ускладнює розрізнення контакту від зависання — обидва аспекти лінгвістично значущі в ASL .

Роль Сема Сепи

Сем Сепа, нечуючий співробітник Google і член команди з мови жестів, відіграв центральну роль у розробці SL2T. Він є співавтором публікації набору даних FSboard, який використовувався для оцінки моделі . У блозі Google та Спільному звіті про вплив наголошується, що команда тісно співпрацювала з нечуючими співробітниками Google, включаючи Сему Сепу, під час передрелізного тестування, щоб виявити поведінку моделі та проблеми інтерфейсу, які не можна було виявити за допомогою лише бенчмарків .