Google DeepMind SL2T: Viittomakieli muuttuu tekstiksi Pixel 11:ssä

Miten SL2T toimii

Koulutusdata: yli 100 000 tuntia, yli 50 viittomakieltä

SL2T on koulutettu yli 100 000 tunnilla viittomakielivideota, jotka kattavat yli 50 viittomakieltä, ja noin neljäsosa datasta on ASL:ää . Kouluttamalla mallia yhdessä useilla viittomakielillä, murteilla ja taitotasoilla Googlen tutkimus osoitti, että malli ylittää yksikieliset järjestelmät – se oppii jaettuja rakenteellisia malleja, jotka parantavat yleistymistä . On huomionarvoista, että koulutusdata ei sisällä alle 18-vuotiaita viittojia, mikä saattaa heikentää tarkkuutta nuoremmilla käyttäjillä .

On-laitteella tapahtuva liikeradan seuranta: Vain koordinaatit poistuvat puhelimesta

Järjestelmä on suunniteltu yksityisyyttä ajatellen. Puhelimen kamera käyttää MediaPipe Holistic -ohjelmistoa, joka poimii 130 avainpisteen 2D-koordinaatit (kasvot, vartalo, kädet) kuva ruudulta. Raaka kameravideo hylätään välittömästi eikä koskaan poistu laitteesta . Vain nämä abstraktit geometriset koordinaatit lähetetään Googlen palvelimille käännöstä varten, eikä käyttäjän syötteistä tai tulosteista säilytetä lokitietoja ilman nimenomaista lupaa . 2D-koordinaattiesitys ei kuitenkaan seuraa kielen liikkeitä eikä tarjoa syvyysjärjestystä, mikä vaikeuttaa käden kosketuksen ja sen lähellä leijumisen erottamista – molemmat ovat tärkeitä ASL:ssä .

Suora viittomasta tekstiksi: Glossiton, autoregressiivinen käännös

SL2T käyttää transformeri-mallia, joka käsittelee suoraan liikeradan koordinaattijonoja ja tuottaa englanninkielistä tekstiä autoregressiivisesti. Toisin kuin aiemmat lähestymistavat, se ei ensin tuota välikielen glosseja tai käsinkoodattuja kielellisiä esityksiä . Malli kääntää eikä transkriboi – se tuottaa luonnollista englanninkielistä tekstiä, ei sanatarkkaa kartoitusta ASL-viittomista.

Suorituskyky vertailussa: Huippuluokkaa, mutta Googlen itsensä raportoima

FLEURS-ASL -vertailussa, joka on nollasignaalin arviointitietoaineisto monimutkaisesta, abstraktista kielestä, joka on tallennettu studio-olosuhteissa sertifioitujen kuurojen tulkkien toimesta, SL2T saavuttaa 70 BLEURT -pisteen, jonka Google sanoo olevan kaukana kaikista aiemmin raportoiduista tuloksista . Muita vertailutuloksia:

• 74 BLEURT yhden käden FLEURS-ASL -variantissa
• 85 BLEURT PRESTO-ASL -aineistossa, joka sisältää tekoälyavustajalausekkeita
• 64 % tarkka osumatarkkuus FSboard-aineistossa, joka on kuurojen viittojien mobiililaitteilla keräämä sormiaakkosaineisto

On tärkeää huomata, että nämä ovat Googlen itsensä raportoimia lukuja; riippumatonta arviointia ei ollut julkaistu julkaisuhetkellä.

Hallinto ja rajoitukset: Rakennettu suoja-aidoin

Viittomakielen tekoälyn neuvottelukunta

Google perusti ulkopuolisen AI Sign Language Advisory Committee (AISLAC) -neuvottelukunnan, johon kuuluu edustajia National Association of the Deaf (NAD) -järjestöstä, RIT/NTID:stä, DPAN:sta ja World Federation of the Deaf (WFD) -järjestöstä. AISLAC on laatinut yhteisen vaikutusraportin, joka määrittelee mallin toiminnalliset rajat ja rajoitukset .

Kielletty käyttökontekstit

SL2T on suunniteltu ja arvioitu vain matalan panoksen, epävirallisiin tilanteisiin kuten tekstin syöttöön, viestintään, hakukyselyihin ja kahdenkeskisiin keskusteluihin (esimerkiksi kahvilassa tai kaupassa). Korkean panoksen tai monen osapuolen keskustelut lääketieteellisissä, oikeudellisissa ja akateemisissa ympäristöissä eivät kuulu mallin sovellusalaan .

ADA-vastuuvapauslauseke

Google toteaa dokumentaatiossaan, että SL2T ei korvaa ammattimaista tulkkipalvelua eikä sitä tule käyttää tilanteissa, joissa viestintävirheet voivat aiheuttaa haittaa .

Tunnetut tekniset rajoitukset

• Heikko valo heikentää suorituskykyä: Mallin tarkkuus laskee huonossa valaistuksessa, koska MediaPipe Holistic -liikeradat eivät ole yhtä luotettavia .
• Yhden viittojan tuki: Malli käsittelee vain yhtä viittojaa kerrallaan; se ei pysty tulkitsemaan monen osapuolen viittomakielisiä keskusteluja .
• 60 sekunnin leikekatko: Yksittäiset käännössegmentit on rajoitettu noin 60 sekuntiin viittomista .
• Ei alle 18-vuotiaiden koulutusdataa: Malli saattaa olla vähemmän tarkka nuoremmilla käyttäjillä, koska koulutusdata ei sisällä alle 18-vuotiaita viittojia .
• 2D-esityksen rajoitukset: Liikeratajärjestelmä ei seuraa kielen liikkeitä eikä tarjoa syvyysjärjestystä, mikä vaikeuttaa kosketuksen erottamista leijumisesta – molemmat ovat kielellisesti merkittäviä ASL:ssä .

Sam Sepahin rooli

Sam Sepah, kuuro googlen työntekijä ja viittomakielen tiimin jäsen, oli keskeisessä roolissa SL2T:n kehityksessä. Hän on toinen kirjoittaja FSboard-aineiston julkaisussa, jota käytettiin mallin arvioinnissa . Googlen blogi ja yhteinen vaikutusraportti korostavat, että tiimi työskenteli tiiviisti kuurojen googlen työntekijöiden – mukaan lukien Sepahin – kanssa ennen julkaisua paljastaakseen mallin käyttäytymistä ja käyttöliittymäongelmia, joita vertailut eivät yksinään pysty paljastamaan .