DeepMind SL2T: AI Penerjemah Bahasa Isyarat Kini Hadir di Pixel 11

Pada 12 Agustus 2026, Google DeepMind resmi merilis SL2T (sign-language-to-text), sebuah model transformer multilingual besar-besaran yang menerjemahkan video bahasa isyarat langsung menjadi teks. Ini adalah fitur AI bahasa isyarat pertama yang mencapai ponsel konsumen . Awalnya, SL2T mendukung Bahasa Isyarat Amerika (ASL) ke bahasa Inggris dan terintegrasi di Gboard (untuk mengetik, mencari, dan berkirim pesan) serta Live Transcribe (untuk percakapan santai satu lawan satu) di keluarga Pixel 11 . Peluncuran ini menandai pergeseran dari penelitian murni ke produk jadi, meskipun datang dengan batasan yang telah ditentukan dengan jelas.

Cara Kerja SL2T

Data Pelatihan: Lebih dari 100.000 Jam, 50+ Bahasa Isyarat

SL2T dilatih menggunakan lebih dari 100.000 jam video bahasa isyarat yang mencakup lebih dari 50 bahasa isyarat, dengan sekitar seperempat dari data tersebut dalam ASL . Dengan melatih model secara bersama-sama pada banyak bahasa isyarat, dialek, dan tingkat kemahiran, Google menemukan bahwa model ini mengungguli sistem yang hanya menggunakan satu bahasa — karena mampu mempelajari pola struktural bersama yang meningkatkan generalisasi . Perlu dicatat, data pelatihan sengaja tidak menyertakan penanda isyarat di bawah usia 18 tahun, yang dapat mengurangi akurasi untuk pengguna yang lebih muda .

Pelacakan Landmark di Perangkat: Hanya Koordinat yang Meninggalkan Ponsel

Sistem ini dirancang dengan mengutamakan privasi. Kamera ponsel menjalankan MediaPipe Holistic, yang mengekstrak koordinat landmark 2D untuk 130 titik kunci (wajah, tubuh, tangan) bingkai demi bingkai. Video kamera mentah kemudian langsung dihapus dan tidak pernah meninggalkan perangkat . Hanya koordinat geometris abstrak ini yang dikirim ke server Google untuk diterjemahkan, dan tidak ada log dari input atau output pengguna yang disimpan tanpa izin eksplisit . Representasi landmark 2D ini tidak melacak landmark lidah atau memberikan urutan kedalaman, sehingga lebih sulit membedakan antara kontak tangan dan gerakan melayang — keduanya penting dalam ASL .

Penerjemahan Pose-ke-Teks Langsung: Tanpa Gloss, Terjemahan Autoregresif

SL2T menggunakan transformer yang langsung memproses urutan koordinat landmark dan menghasilkan teks bahasa Inggris secara autoregresif. Berbeda dengan pendekatan sebelumnya, model ini tidak terlebih dahulu menghasilkan gloss atau representasi linguistik perantara . Model ini menerjemahkan daripada mentranskripsikan — artinya, ia menghasilkan teks bahasa Inggris yang alami, bukan peta kata-per-kata dari isyarat ASL.

Performa Tolok Ukur: Klaim Terdepan, Namun dari Pihak Pengembang

Pada FLEURS-ASL, dataset evaluasi zero-shot yang berisi bahasa kompleks dan abstrak yang direkam dalam kondisi studio oleh Juru Bahasa Tunarungu Tersertifikasi, SL2T mencetak skor 70 BLEURT. Google mengklaim ini jauh di atas hasil yang pernah dilaporkan sebelumnya . Hasil tolok ukur tambahan meliputi:

• 74 BLEURT pada varian FLEURS-ASL satu tangan
• 85 BLEURT pada PRESTO-ASL, dataset frasa asisten AI
• Akurasi 64% pada FSboard, dataset ejaan jari yang dikumpulkan dari penanda isyarat tunarungu di perangkat seluler

Penting untuk dicatat bahwa ini adalah angka yang dilaporkan oleh vendor; belum ada evaluasi independen yang dipublikasikan hingga saat peluncuran.

Tata Kelola dan Keterbatasan: Dibangun dengan Pagar Pengaman

Komite Penasihat AI Bahasa Isyarat (AISLAC)

Google membentuk Komite Penasihat AI Bahasa Isyarat (AISLAC) eksternal, yang beranggotakan perwakilan dari National Association of the Deaf (NAD) AS, RIT/NTID, DPAN, dan World Federation of the Deaf (WFD). AISLAC ikut menulis Laporan Dampak Bersama yang mendefinisikan batas operasional dan keterbatasan model .

Konteks Penggunaan yang Dilarang

SL2T dirancang dan dievaluasi secara eksplisit hanya untuk situasi informal berisiko rendah seperti dikte teks, berkirim pesan, kueri penelusuran, dan percakapan satu lawan satu (misalnya, di kedai kopi atau toko). Percakapan berisiko tinggi atau multi-pihak di lingkungan medis, hukum, dan akademis tidak termasuk dalam cakupan .

Penafian ADA

Google menyatakan dalam dokumentasinya bahwa SL2T bukanlah pengganti layanan juru bahasa profesional dan tidak boleh diandalkan dalam konteks di mana kesalahan komunikasi dapat membahayakan .

Kendala Teknis yang Diketahui

• Penurunan performa di cahaya redup: Performa menurun dalam pencahayaan buruk karena landmark MediaPipe Holistic menjadi kurang andal .
• Dukungan satu pengguna: Model ini hanya menangani satu pengguna isyarat dalam satu waktu; tidak dapat menafsirkan percakapan isyarat multi-pihak .
• Batas klip 60 detik: Segmen terjemahan individu dibatasi hingga sekitar 60 detik isyarat .
• Tidak ada data pelatihan di bawah 18 tahun: Model mungkin kurang akurat untuk pengguna yang lebih muda, karena data pelatihan tidak menyertakan penanda isyarat di bawah 18 tahun .
• Keterbatasan representasi 2D: Sistem landmark tidak melacak artikulasi lidah atau memberikan urutan kedalaman, sehingga sulit membedakan kontak dari gerakan melayang — keduanya signifikan secara linguistik dalam ASL .

Peran Sam Sepah

Sam Sepah, seorang karyawan Google yang tunarungu dan anggota tim Bahasa Isyarat, memainkan peran sentral dalam pengembangan SL2T. Ia adalah salah satu penulis publikasi dataset FSboard yang digunakan dalam evaluasi model . Blog Google dan Laporan Dampak Bersama menekankan bahwa tim bekerja sama erat dengan karyawan Google yang tunarungu — termasuk Sepah — selama pengujian pra-rilis untuk mengungkap perilaku model dan masalah antarmuka yang tidak dapat ditangkap oleh tolok ukur saja .