Jak działa SL2T

Dane treningowe: ponad 100 000 godzin, ponad 50 języków migowych

SL2T został wytrenowany na ponad 100 000 godzin nagrań języka migowego obejmujących ponad 50 języków migowych, z czego około jedna czwarta to dane w ASL . Dzięki równoczesnemu treningowi na wielu językach, dialektach i poziomach biegłości, model – według badań Google – osiąga lepsze wyniki niż systemy wyspecjalizowane w jednym języku. Uczy się wspólnych wzorców strukturalnych, co poprawia generalizację . Co ważne, dane treningowe celowo nie zawierają nagrań osób poniżej 18 roku życia, co może obniżać dokładność dla młodszych użytkowników .

Śledzenie punktów orientacyjnych na urządzeniu: tylko współrzędne opuszczają telefon

System zaprojektowano z myślą o prywatności. Kamera telefonu uruchamia MediaPipe Holistic, który wyodrębnia współrzędne 2D dla 130 kluczowych punktów (twarz, ciało, dłonie) w każdej klatce. Oryginalne wideo jest natychmiast usuwane i nigdy nie opuszcza urządzenia . Na serwery Google wysyłane są wyłącznie te abstrakcyjne współrzędne geometryczne, a logi wejść i wyjść nie są przechowywane bez wyraźnej zgody użytkownika . Reprezentacja 2D nie śledzi jednak ruchu języka ani nie dostarcza informacji o głębi, co utrudnia rozróżnienie między kontaktem dłoni a unoszeniem jej nad powierzchnią – oba te elementy są istotne w ASL .

Bezpośrednie tłumaczenie: brak glos, autoregresja

SL2T używa transformera, który warunkuje się na sekwencji współrzędnych i generuje tekst angielski w sposób autoregresyjny. W przeciwieństwie do wcześniejszych podejść, nie generuje najpierw pośrednich glos ani innych lingwistycznych reprezentacji . Model tłumaczy, a nie transkrybuje – produkuje naturalny angielski tekst, a nie dosłowne odwzorowanie znaków ASL.

Wyniki benchmarków: najlepsze w historii, ale podane przez producenta

W teście FLEURS-ASL, czyli zbiorze danych do oceny tłumaczenia w stanie zerowym (zero-shot) składającym się z nagrań skomplikowanego, abstrakcyjnego języka w warunkach studyjnych z udziałem certyfikowanych tłumaczy niesłyszących, SL2T osiąga 70 punktów BLEURT. Google twierdzi, że to wynik znacznie przewyższający wszystkie dotychczas opublikowane . Inne wyniki przedstawiają się następująco:

• 74 BLEURT w wariancie FLEURS-ASL z użyciem jednej ręki
• 85 BLEURT na PRESTO-ASL, czyli zbiorze fraz typowych dla asystentów AI
• 64% dokładności (exact match) w teście FSboard, zbiorze danych z literowaniem palcowym zebranym od niesłyszących użytkowników na urządzeniach mobilnych

Warto podkreślić, że są to dane podane przez producenta – do momentu premiery nie opublikowano niezależnej ewaluacji.

Zasady i ograniczenia: wbudowane zabezpieczenia

Komitet Doradczy ds. Sztucznej Inteligencji Języka Migowego (AISLAC)

Google powołał zewnętrzny Komitet Doradczy ds. Sztucznej Inteligencji Języka Migowego (AISLAC), w skład którego wchodzą przedstawiciele National Association of the Deaf (NAD), RIT/NTID, DPAN oraz Światowej Federacji Głuchych (WFD). AISLAC współtworzył Raport o Wpływie, który definiuje granice operacyjne i ograniczenia modelu .

Zakazane konteksty użycia

SL2T został zaprojektowany i przetestowany wyłącznie do nieformalnych sytuacji o niskim ryzyku, takich jak dyktowanie tekstu, pisanie wiadomości, zapytania w wyszukiwarce czy rozmowy w cztery oczy (np. w kawiarni lub u sprzedawcy). Konteksty wysokiego ryzyka lub rozmowy wieloosobowe w środowisku medycznym, prawnym i akademickim są poza zakresem działania modelu .

Zastrzeżenie dotyczące ADA

Google w swojej dokumentacji wyraźnie stwierdza, że SL2T nie zastępuje profesjonalnych usług tłumaczeniowych i nie należy na nim polegać w sytuacjach, w których błędy komunikacyjne mogłyby wyrządzić szkodę .

Znane ograniczenia techniczne

• Niska skuteczność w słabym oświetleniu: Jakość tłumaczenia spada w słabym świetle, ponieważ MediaPipe Holistic ma trudności z wyznaczaniem wiarygodnych punktów orientacyjnych .
• Obsługa tylko jednej osoby: Model radzi sobie tylko z jednym rozmówcą na raz; nie interpretuje rozmów z udziałem wielu osób posługujących się językiem migowym .
• Limit 60 sekund: Poszczególne segmenty tłumaczenia są ograniczone do około 60 sekund migania .
• Brak danych treningowych dla osób poniżej 18. roku życia: Model może być mniej dokładny dla młodszych użytkowników, ponieważ w danych treningowych celowo pominięto osoby niepełnoletnie .
• Ograniczenia reprezentacji 2D: System nie śledzi ruchu języka ani nie zapewnia informacji o głębi, co utrudnia rozróżnienie między kontaktem a unoszeniem dłoni – oba te elementy są ważne w ASL .

Rola Sama Sepaha

Sam Sepah, niesłyszący pracownik Google i członek zespołu ds. języka migowego, odegrał kluczową rolę w rozwoju SL2T. Jest współautorem publikacji na temat zbioru danych FSboard, który został wykorzystany w ewaluacji modelu . Blog Google oraz Raport o Wpływie podkreślają, że zespół ściśle współpracował z niesłyszącymi pracownikami Google – w tym z Sepahem – podczas testów przedpremierowych, aby wykryć zachowania modelu i problemy interfejsu, których nie byłyby w stanie wychwycić same benchmarki .

Jak działa SL2T

Dane treningowe: ponad 100 000 godzin, ponad 50 języków migowych

SL2T został wytrenowany na ponad 100 000 godzin nagrań języka migowego obejmujących ponad 50 języków migowych, z czego około jedna czwarta to dane w ASL . Dzięki równoczesnemu treningowi na wielu językach, dialektach i poziomach biegłości, model – według badań Google – osiąga lepsze wyniki niż systemy wyspecjalizowane w jednym języku. Uczy się wspólnych wzorców strukturalnych, co poprawia generalizację . Co ważne, dane treningowe celowo nie zawierają nagrań osób poniżej 18 roku życia, co może obniżać dokładność dla młodszych użytkowników .

Śledzenie punktów orientacyjnych na urządzeniu: tylko współrzędne opuszczają telefon

System zaprojektowano z myślą o prywatności. Kamera telefonu uruchamia MediaPipe Holistic, który wyodrębnia współrzędne 2D dla 130 kluczowych punktów (twarz, ciało, dłonie) w każdej klatce. Oryginalne wideo jest natychmiast usuwane i nigdy nie opuszcza urządzenia . Na serwery Google wysyłane są wyłącznie te abstrakcyjne współrzędne geometryczne, a logi wejść i wyjść nie są przechowywane bez wyraźnej zgody użytkownika . Reprezentacja 2D nie śledzi jednak ruchu języka ani nie dostarcza informacji o głębi, co utrudnia rozróżnienie między kontaktem dłoni a unoszeniem jej nad powierzchnią – oba te elementy są istotne w ASL .

Bezpośrednie tłumaczenie: brak glos, autoregresja

SL2T używa transformera, który warunkuje się na sekwencji współrzędnych i generuje tekst angielski w sposób autoregresyjny. W przeciwieństwie do wcześniejszych podejść, nie generuje najpierw pośrednich glos ani innych lingwistycznych reprezentacji . Model tłumaczy, a nie transkrybuje – produkuje naturalny angielski tekst, a nie dosłowne odwzorowanie znaków ASL.

Wyniki benchmarków: najlepsze w historii, ale podane przez producenta

W teście FLEURS-ASL, czyli zbiorze danych do oceny tłumaczenia w stanie zerowym (zero-shot) składającym się z nagrań skomplikowanego, abstrakcyjnego języka w warunkach studyjnych z udziałem certyfikowanych tłumaczy niesłyszących, SL2T osiąga 70 punktów BLEURT. Google twierdzi, że to wynik znacznie przewyższający wszystkie dotychczas opublikowane . Inne wyniki przedstawiają się następująco:

• 74 BLEURT w wariancie FLEURS-ASL z użyciem jednej ręki
• 85 BLEURT na PRESTO-ASL, czyli zbiorze fraz typowych dla asystentów AI
• 64% dokładności (exact match) w teście FSboard, zbiorze danych z literowaniem palcowym zebranym od niesłyszących użytkowników na urządzeniach mobilnych

Warto podkreślić, że są to dane podane przez producenta – do momentu premiery nie opublikowano niezależnej ewaluacji.

Zasady i ograniczenia: wbudowane zabezpieczenia

Komitet Doradczy ds. Sztucznej Inteligencji Języka Migowego (AISLAC)

Google powołał zewnętrzny Komitet Doradczy ds. Sztucznej Inteligencji Języka Migowego (AISLAC), w skład którego wchodzą przedstawiciele National Association of the Deaf (NAD), RIT/NTID, DPAN oraz Światowej Federacji Głuchych (WFD). AISLAC współtworzył Raport o Wpływie, który definiuje granice operacyjne i ograniczenia modelu .

Zakazane konteksty użycia

SL2T został zaprojektowany i przetestowany wyłącznie do nieformalnych sytuacji o niskim ryzyku, takich jak dyktowanie tekstu, pisanie wiadomości, zapytania w wyszukiwarce czy rozmowy w cztery oczy (np. w kawiarni lub u sprzedawcy). Konteksty wysokiego ryzyka lub rozmowy wieloosobowe w środowisku medycznym, prawnym i akademickim są poza zakresem działania modelu .

Zastrzeżenie dotyczące ADA

Google w swojej dokumentacji wyraźnie stwierdza, że SL2T nie zastępuje profesjonalnych usług tłumaczeniowych i nie należy na nim polegać w sytuacjach, w których błędy komunikacyjne mogłyby wyrządzić szkodę .

Znane ograniczenia techniczne

• Niska skuteczność w słabym oświetleniu: Jakość tłumaczenia spada w słabym świetle, ponieważ MediaPipe Holistic ma trudności z wyznaczaniem wiarygodnych punktów orientacyjnych .
• Obsługa tylko jednej osoby: Model radzi sobie tylko z jednym rozmówcą na raz; nie interpretuje rozmów z udziałem wielu osób posługujących się językiem migowym .
• Limit 60 sekund: Poszczególne segmenty tłumaczenia są ograniczone do około 60 sekund migania .
• Brak danych treningowych dla osób poniżej 18. roku życia: Model może być mniej dokładny dla młodszych użytkowników, ponieważ w danych treningowych celowo pominięto osoby niepełnoletnie .
• Ograniczenia reprezentacji 2D: System nie śledzi ruchu języka ani nie zapewnia informacji o głębi, co utrudnia rozróżnienie między kontaktem a unoszeniem dłoni – oba te elementy są ważne w ASL .

Rola Sama Sepaha

Sam Sepah, niesłyszący pracownik Google i członek zespołu ds. języka migowego, odegrał kluczową rolę w rozwoju SL2T. Jest współautorem publikacji na temat zbioru danych FSboard, który został wykorzystany w ewaluacji modelu . Blog Google oraz Raport o Wpływie podkreślają, że zespół ściśle współpracował z niesłyszącymi pracownikami Google – w tym z Sepahem – podczas testów przedpremierowych, aby wykryć zachowania modelu i problemy interfejsu, których nie byłyby w stanie wychwycić same benchmarki .