Bagaimana SL2T Berfungsi

Data Latihan: 100,000+ Jam, 50+ Bahasa Isyarat

SL2T dilatih menggunakan lebih daripada 100,000 jam video bahasa isyarat yang merangkumi lebih 50 bahasa isyarat, dengan kira-kira satu perempat daripada data tersebut dalam ASL . Dengan melatih secara bersama pelbagai bahasa isyarat, dialek, dan tahap kemahiran, penyelidikan Google mendapati model ini mengatasi sistem bahasa tunggal — ia mempelajari corak struktur yang dikongsi bersama yang meningkatkan generalisasi . Perlu diberi perhatian, data latihan sengaja tidak termasuk isyarat di bawah 18 tahun, yang mungkin mengurangkan ketepatan untuk pengguna yang lebih muda .

Penjejakan Titik Rupa Bentuk pada Peranti: Hanya Koordinasi Meninggalkan Telefon Anda

Sistem ini direka untuk privasi. Kamera telefon menjalankan MediaPipe Holistic, mengekstrak koordinat titik rupa bentuk 2D untuk 130 titik utama (muka, badan, tangan) bingkai demi bingkai. Video kamera mentah kemudiannya dibuang serta-merta dan tidak pernah meninggalkan peranti . Hanya koordinat geometri abstrak ini yang dihantar ke pelayan Google untuk terjemahan, dan tiada log input atau output pengguna disimpan tanpa kebenaran jelas pengguna . Perwakilan titik rupa bentuk 2D tidak menjejak titik lidah atau menyediakan susunan kedalaman, menjadikannya sukar untuk membezakan antara sentuhan tangan dan isyarat terapung — kedua-duanya penting dalam ASL .

Terjemahan Pose-ke-Teks Secara Langsung: Tanpa Glos, Autoregresif

SL2T menggunakan transformer yang berfungsi terus pada jujukan koordinat titik rupa bentuk dan menjana teks Bahasa Inggeris secara autoregresif. Tidak seperti pendekatan yang lebih awal, ia tidak mengeluarkan glos sementara atau perwakilan linguistik yang dikodkan terlebih dahulu . Model ini menterjemah dan bukannya menyalin — bermakna ia menghasilkan teks Bahasa Inggeris yang semula jadi, bukan pemetaan kata demi kata bagi isyarat ASL.

Prestasi Penanda Aras: Terkini tetapi Dilaporkan Vendor

Pada FLEURS-ASL, set data penilaian sifar-sentuh (zero-shot) bagi bahasa abstrak kompleks yang dirakam dalam keadaan studio oleh Jurubahasa Pekak Bertauliah, SL2T mendapat 70 BLEURT, yang menurut Google jauh melebihi mana-mana keputusan yang dilaporkan sebelum ini . Keputusan penanda aras tambahan termasuk:

• 74 BLEURT pada varian satu tangan FLEURS-ASL
• 85 BLEURT pada PRESTO-ASL, set data frasa pembantu AI
• 64% ketepatan padanan tepat pada FSboard, set data ejaan jari yang dikumpul daripada penanda isyarat Pekak pada peranti mudah alih

Adalah penting untuk ambil perhatian bahawa ini adalah angka yang dilaporkan oleh vendor; tiada penilaian bebas telah diterbitkan setakat tarikh pelancaran.

Tadbir Urus dan Had: Dibina dengan Pengawal

Jawatankuasa Penasihat AI Bahasa Isyarat

Google menubuhkan Jawatankuasa Penasihat AI Bahasa Isyarat (AISLAC) luaran, yang merangkumi wakil dari Persatuan Pekak Kebangsaan (NAD), RIT/NTID, DPAN, dan Persekutuan Pekak Sedunia (WFD). AISLAC bersama-sama mengarang Laporan Impak Bersama yang mentakrifkan sempadan operasi dan had model .

Konteks Penggunaan yang Dilarang

SL2T direka dan dinilai secara eksplisit hanya untuk situasi tidak formal dan berisiko rendah seperti dikte teks, pemesejan, pertanyaan carian, dan perbualan satu-satu (contohnya, di kedai kopi atau peruncit). Perbualan berisiko tinggi atau pelbagai pihak dalam tetapan perubatan, guaman, dan akademik adalah di luar skop .

Penafian ADA

Google menyatakan dalam dokumentasinya bahawa SL2T bukan pengganti untuk perkhidmatan tafsiran profesional dan tidak boleh diharapkan dalam konteks di mana kesilapan komunikasi boleh menyebabkan kemudaratan .

Kekangan Teknikal yang Diketahui

• Kemerosotan Cahaya Malap: Prestasi menurun dalam pencahayaan yang kurang baik kerana titik rupa bentuk MediaPipe Holistic menjadi kurang boleh dipercayai .
• Sokongan Penanda Tunggal: Model ini hanya mengendalikan seorang penanda isyarat pada satu masa; ia tidak boleh mentafsir perbualan isyarat pelbagai pihak .
• Had Klip 60 Saat: Segmen terjemahan individu dihadkan pada lebih kurang 60 saat isyarat .
• Tiada Data Latihan Bawah 18 Tahun: Model mungkin kurang tepat untuk pengguna yang lebih muda, kerana data latihan tidak termasuk penanda isyarat di bawah 18 tahun .
• Had Perwakilan 2D: Sistem titik rupa bentuk tidak menjejak artikulasi lidah atau menyediakan susunan kedalaman, menjadikannya sukar untuk membezakan sentuhan daripada isyarat terapung — kedua-duanya signifikan secara linguistik dalam ASL .

Peranan Sam Sepah

Sam Sepah, seorang pekerja Google yang pekak dan ahli pasukan Bahasa Isyarat, memainkan peranan penting dalam pembangunan SL2T. Beliau adalah pengarang bersama penerbitan set data FSboard yang digunakan dalam penilaian model . Blog Google dan Laporan Impak Bersama menekankan bahawa pasukan bekerja rapat dengan pekerja Google yang pekak — termasuk Sepah — sepanjang ujian pra-keluaran untuk mendedahkan tingkah laku model dan isu antara muka yang tidak dapat ditangkap oleh penanda aras sahaja .

Bagaimana SL2T Berfungsi

Data Latihan: 100,000+ Jam, 50+ Bahasa Isyarat

SL2T dilatih menggunakan lebih daripada 100,000 jam video bahasa isyarat yang merangkumi lebih 50 bahasa isyarat, dengan kira-kira satu perempat daripada data tersebut dalam ASL . Dengan melatih secara bersama pelbagai bahasa isyarat, dialek, dan tahap kemahiran, penyelidikan Google mendapati model ini mengatasi sistem bahasa tunggal — ia mempelajari corak struktur yang dikongsi bersama yang meningkatkan generalisasi . Perlu diberi perhatian, data latihan sengaja tidak termasuk isyarat di bawah 18 tahun, yang mungkin mengurangkan ketepatan untuk pengguna yang lebih muda .

Penjejakan Titik Rupa Bentuk pada Peranti: Hanya Koordinasi Meninggalkan Telefon Anda

Sistem ini direka untuk privasi. Kamera telefon menjalankan MediaPipe Holistic, mengekstrak koordinat titik rupa bentuk 2D untuk 130 titik utama (muka, badan, tangan) bingkai demi bingkai. Video kamera mentah kemudiannya dibuang serta-merta dan tidak pernah meninggalkan peranti . Hanya koordinat geometri abstrak ini yang dihantar ke pelayan Google untuk terjemahan, dan tiada log input atau output pengguna disimpan tanpa kebenaran jelas pengguna . Perwakilan titik rupa bentuk 2D tidak menjejak titik lidah atau menyediakan susunan kedalaman, menjadikannya sukar untuk membezakan antara sentuhan tangan dan isyarat terapung — kedua-duanya penting dalam ASL .

Terjemahan Pose-ke-Teks Secara Langsung: Tanpa Glos, Autoregresif

SL2T menggunakan transformer yang berfungsi terus pada jujukan koordinat titik rupa bentuk dan menjana teks Bahasa Inggeris secara autoregresif. Tidak seperti pendekatan yang lebih awal, ia tidak mengeluarkan glos sementara atau perwakilan linguistik yang dikodkan terlebih dahulu . Model ini menterjemah dan bukannya menyalin — bermakna ia menghasilkan teks Bahasa Inggeris yang semula jadi, bukan pemetaan kata demi kata bagi isyarat ASL.

Prestasi Penanda Aras: Terkini tetapi Dilaporkan Vendor

Pada FLEURS-ASL, set data penilaian sifar-sentuh (zero-shot) bagi bahasa abstrak kompleks yang dirakam dalam keadaan studio oleh Jurubahasa Pekak Bertauliah, SL2T mendapat 70 BLEURT, yang menurut Google jauh melebihi mana-mana keputusan yang dilaporkan sebelum ini . Keputusan penanda aras tambahan termasuk:

• 74 BLEURT pada varian satu tangan FLEURS-ASL
• 85 BLEURT pada PRESTO-ASL, set data frasa pembantu AI
• 64% ketepatan padanan tepat pada FSboard, set data ejaan jari yang dikumpul daripada penanda isyarat Pekak pada peranti mudah alih

Adalah penting untuk ambil perhatian bahawa ini adalah angka yang dilaporkan oleh vendor; tiada penilaian bebas telah diterbitkan setakat tarikh pelancaran.

Tadbir Urus dan Had: Dibina dengan Pengawal

Jawatankuasa Penasihat AI Bahasa Isyarat

Google menubuhkan Jawatankuasa Penasihat AI Bahasa Isyarat (AISLAC) luaran, yang merangkumi wakil dari Persatuan Pekak Kebangsaan (NAD), RIT/NTID, DPAN, dan Persekutuan Pekak Sedunia (WFD). AISLAC bersama-sama mengarang Laporan Impak Bersama yang mentakrifkan sempadan operasi dan had model .

Konteks Penggunaan yang Dilarang

SL2T direka dan dinilai secara eksplisit hanya untuk situasi tidak formal dan berisiko rendah seperti dikte teks, pemesejan, pertanyaan carian, dan perbualan satu-satu (contohnya, di kedai kopi atau peruncit). Perbualan berisiko tinggi atau pelbagai pihak dalam tetapan perubatan, guaman, dan akademik adalah di luar skop .

Penafian ADA

Google menyatakan dalam dokumentasinya bahawa SL2T bukan pengganti untuk perkhidmatan tafsiran profesional dan tidak boleh diharapkan dalam konteks di mana kesilapan komunikasi boleh menyebabkan kemudaratan .

Kekangan Teknikal yang Diketahui

• Kemerosotan Cahaya Malap: Prestasi menurun dalam pencahayaan yang kurang baik kerana titik rupa bentuk MediaPipe Holistic menjadi kurang boleh dipercayai .
• Sokongan Penanda Tunggal: Model ini hanya mengendalikan seorang penanda isyarat pada satu masa; ia tidak boleh mentafsir perbualan isyarat pelbagai pihak .
• Had Klip 60 Saat: Segmen terjemahan individu dihadkan pada lebih kurang 60 saat isyarat .
• Tiada Data Latihan Bawah 18 Tahun: Model mungkin kurang tepat untuk pengguna yang lebih muda, kerana data latihan tidak termasuk penanda isyarat di bawah 18 tahun .
• Had Perwakilan 2D: Sistem titik rupa bentuk tidak menjejak artikulasi lidah atau menyediakan susunan kedalaman, menjadikannya sukar untuk membezakan sentuhan daripada isyarat terapung — kedua-duanya signifikan secara linguistik dalam ASL .

Peranan Sam Sepah

Sam Sepah, seorang pekerja Google yang pekak dan ahli pasukan Bahasa Isyarat, memainkan peranan penting dalam pembangunan SL2T. Beliau adalah pengarang bersama penerbitan set data FSboard yang digunakan dalam penilaian model . Blog Google dan Laporan Impak Bersama menekankan bahawa pasukan bekerja rapat dengan pekerja Google yang pekak — termasuk Sepah — sepanjang ujian pra-keluaran untuk mendedahkan tingkah laku model dan isu antara muka yang tidak dapat ditangkap oleh penanda aras sahaja .