Google DeepMind SL2T: Pixel 11 İşaret Dilini Nasıl Metne Çeviriyor?

SL2T Nasıl Çalışıyor?

Eğitim Verileri: 100.000+ Saat, 50+ İşaret Dili

SL2T, 50'den fazla işaret dilini kapsayan 100.000 saatten fazla işaret dili videosuyla eğitildi. Bu verinin yaklaşık dörtte biri ASL verisidir . Google, birden fazla işaret dili, lehçe ve yeterlilik seviyesinde ortak eğitim yaparak modelin tek dilli sistemlerden daha iyi performans gösterdiğini ve paylaşılan yapısal kalıpları öğrenerek genellemeyi iyileştirdiğini buldu . Dikkat çekici bir şekilde, eğitim verileri 18 yaş altı işaretçileri kasten hariç tutuyor; bu da modelin genç kullanıcılar için doğruluğunu azaltabilir .

Cihaz Üzerinde İşaret Takibi: Telefonunuzdan Sadece Koordinatlar Çıkıyor

Sistem, gizlilik göz önünde bulundurularak tasarlandı. Telefon kamerası, MediaPipe Holistic yazılımını çalıştırarak kare kare 130 anahtar nokta için 2 boyutlu işaret koordinatları (yüz, vücut, eller) çıkarır. Ham kamera videosu hemen silinir ve cihazdan asla ayrılmaz . Çeviri için Google'ın sunucularına yalnızca bu soyut geometrik koordinatlar gönderilir ve kullanıcının açık izni olmadan hiçbir girdi veya çıktı kaydı tutulmaz . 2B işaret temsili, dil işaretlerini veya derinlik sıralamasını takip etmez, bu da ASL'de önemli olan el teması ile elin havada olmasını ayırt etmeyi zorlaştırır .

Doğrudan Pozdan Metne: Aradeğersiz, Otoregresif Çeviri

SL2T, işaret koordinat dizisine doğrudan koşullanan ve otoregresif olarak İngilizce metin üreten bir dönüştürücü kullanır. Önceki yaklaşımların aksine, önce ara değerler veya özel kodlanmış dilsel temsiller üretmez . Model, yazıya dökmekten ziyade çeviri yapar — yani ASL işaretlerinin birebir kelime karşılığını değil, doğal İngilizce metin üretir.

Kıyaslama Performansı: Sektörde En İyi, Ancak Satıcı Raporlu

Sertifikalı Sağır Tercümanlar tarafından stüdyo koşullarında kaydedilen karmaşık, soyut dilin sıfır atışlı değerlendirme veri seti olan FLEURS-ASL üzerinde SL2T, 70 BLEURT puanı alır. Google, bunun daha önce bildirilen tüm sonuçların çok üzerinde olduğunu söylüyor . Ek kıyaslama sonuçları şunlardır:

• FLEURS-ASL'nin tek elli bir varyantında 74 BLEURT
• Bir yapay zeka asistanı cümleleri veri seti olan PRESTO-ASL'de 85 BLEURT
• Mobil cihazlarda Sağır işaretçilerden toplanan bir parmak heceleme veri seti olan FSboard'da %64 tam eşleşme doğruluğu

Bunların satıcı tarafından raporlanan rakamlar olduğunu belirtmek önemlidir; lansman tarihi itibarıyla bağımsız bir değerlendirme yayınlanmamıştır.

Yönetişim ve Sınırlamalar: Güvenlik Önlemleriyle Oluşturuldu

Yapay Zeka İşaret Dili Danışma Komitesi

Google, Ulusal Sağırlar Derneği (NAD), RIT/NTID, DPAN ve Dünya Sağırlar Federasyonu (WFD) temsilcilerini içeren harici bir Yapay Zeka İşaret Dili Danışma Komitesi (AISLAC) topladı. AISLAC, modelin operasyonel sınırlarını ve kısıtlamalarını tanımlayan Ortak Etki Raporu'nun ortak yazarıdır .

Yasaklanmış Kullanım Bağlamları

SL2T, açıkça yalnızca metin diktesi, mesajlaşma, arama sorguları ve birebir konuşmalar (örneğin, bir kafede veya perakende mağazasında) gibi düşük riskli, gündelik durumlar için tasarlanmış ve değerlendirilmiştir. Tıp, hukuk ve akademik ortamlar gibi yüksek riskli veya çok kişili konuşmalar kapsam dışıdır .

ADA Uyarısı

Google, belgelerinde SL2T'nin profesyonel tercümanlık hizmetlerinin yerine geçmediğini ve iletişim hatalarının zarara yol açabileceği bağlamlarda güvenilmemesi gerektiğini belirtmektedir .

Bilinen Teknik Kısıtlamalar

• Düşük Işıkta Bozulma: Düşük ışıkta MediaPipe Holistic işaretleri daha az güvenilir hale geldiğinden performans düşer .
• Tek İşaretçi Desteği: Model aynı anda yalnızca bir işaretçiyi işleyebilir; çok kişili işaretli konuşmaları yorumlayamaz .
• 60 Saniyelik Klip Sınırı: Bireysel çeviri bölümleri yaklaşık 60 saniyelik işaretlemeyle sınırlıdır .
• 18 Yaş Altı Eğitim Verisi Yok: Eğitim verileri 18 yaş altı işaretçileri hariç tuttuğundan model genç kullanıcılar için daha az doğru olabilir .
• 2B Temsil Sınırlamaları: İşaret sistemi, dil eklemi hareketlerini takip etmez veya derinlik sıralaması sağlamaz; bu da ASL'de dil bilimsel olarak önemli olan temas ile elin havada olmasını ayırt etmeyi zorlaştırır .

Sam Sepah'ın Rolü

Sağır bir Google çalışanı ve İşaret Dili ekibi üyesi olan Sam Sepah, SL2T'nin geliştirilmesinde merkezi bir rol oynadı. Modelin değerlendirmesinde kullanılan FSboard veri seti yayınının ortak yazarıdır . Google'ın blogu ve Ortak Etki Raporu, ekibin, yalnızca kıyaslamaların yakalayamayacağı model davranışlarını ve arayüz sorunlarını ortaya çıkarmak için lansman öncesi testler boyunca Sepah da dahil olmak üzere Sağır Google çalışanlarıyla yakın bir şekilde çalıştığını vurgulamaktadır .