يدعم النموذج في البداية لغة الإشارة الأمريكية (ASL) إلى الإنجليزية، ليعمل كأداة إملاء من الإشارة إلى النص في تطبيقي Gboard (للطباعة والبحث والمراسلة) وLive Transcribe (للمحادثات غير الرسمية وجهاً لوجه) عبر هواتف Pixel 11 . ويمثل الإطلاق نقلة من البحث الخالص إلى منتج حقيقي، لكن مع حدود واستثناءات محددة بعناية.

كيف يعمل SL2T؟

بيانات التدريب: أكثر من 100,000 ساعة و 50 لغة إشارة

دُرب النموذج على أكثر من 100,000 ساعة من فيديوهات لغة الإشارة تغطي أكثر من 50 لغة إشارة، حوالي ربعها بلغة الإشارة الأمريكية . وبالتدريب المشترك على لغات متعددة ولهجات ومستويات مهارة، وجدت أبحاث Google أن النموذج يتفوق على الأنظمة أحادية اللغة، إذ يتعلم أنماطاً بنيوية مشتركة تُحسّن من تعميمه . ومن المهم الإشارة إلى أن بيانات التدريب تستبعد عمداً من تقل أعمارهم عن 18 عاماً، مما قد يقلل الدقة مع المستخدمين الأصغر سناً .

التتبع على الجهاز: المغادرة هي للإحداثيات فقط

صُمم النظام للخصوصية. تقوم كاميرا الهاتف بتشغيل MediaPipe Holistic لاستخراج إحداثيات ثنائية الأبعاد لـ 130 نقطة رئيسية (الوجه والجسم واليدين) إطاراً بإطار. ثم يُتخلص من فيديو الكاميرا الخام فوراً ولا يغادر الجهاز أبداً . فقط هذه الإحداثيات الهندسية المجردة تُرسل إلى خوادم Google للترجمة، ولا تُحتفظ بسجلات لإدخالات المستخدم أو مخرجاته دون إذن صريح . ولكن، تمثيل الإحداثيات ثنائي الأبعاد لا يتتبع نقاط اللسان ولا يوفر ترتيباً للعمق، مما يصعّب التمييز بين لمس الأيدي والتحليق فوقها، وكلاهما مهم في لغة الإشارة الأمريكية .

الترجمة المباشرة من الوضعية إلى النص: بدون وسائط لغوية

يستخدم SL2T محولاً يعالج مباشرة سلسلة إحداثيات الوضعية ويولد النص الإنجليزي بشكل تراجعي (توليد كلمة تلو الأخرى). على عكس الأساليب السابقة، لا يُخرج أولاً تمثيلات وسيطة . النموذج يترجم بدلاً من أن ينسخ حرفياً، أي يُنتج نصاً إنجليزياً طبيعياً وليس مطابقة كلمة بكلمة لإشارات ASL.

أداء المعايير: الأفضل لكنه معلن من المطور

في اختبار FLEURS-ASL (مجموعة بيانات تقييم للغة معقدة ومجردة سُجلت في ظروف استوديو بمترجمين صم معتمدين)، يسجل SL2T 70 نقطة على مقياس BLEURT، وهو أعلى بكثير من أي نتيجة سابقة منشورة، حسب قول Google . نتائج إضافية:

• 74 BLEURT على متغير بيد واحدة من FLEURS-ASL
• 85 BLEURT على PRESTO-ASL، مجموعة بيانات لعبارات المساعد الذكي
• 64% دقة تطابق تام على FSboard، مجموعة بيانات للتهجئة بالأصابع من مستخدمين صم على أجهزة محمولة

من المهم ملاحظة أن هذه الأرقام معلنة من جوجل نفسها؛ لم يُنشر أي تقييم مستقل حتى تاريخ الإطلاق.

الحوكمة والقيود: مبني مع ضوابط

لجنة استشارية للغة الإشارة

شكّلت Google لجنة استشارية خارجية باسم AI Sign Language Advisory Committee (AISLAC) تضم ممثلين عن الجمعية الوطنية للصم (NAD) وRIT/NTID وDPAN والاتحاد العالمي للصم (WFD). شاركت AISLAC في كتابة التقرير المشترك للأثر الذي يحدد حدود النموذج التشغيلية .

حالات الاستخدام المحظورة

صُمم النموذج وقُيّم فقط لـ المواقف غير الرسمية منخفضة المخاطر مثل الإملاء النصي والرسائل واستعلامات البحث والمحادثات الفردية (كالمقاهي والمتاجر). أما السياقات عالية المخاطر أو المحادثات الجماعية في المجالات الطبية والقانونية والأكاديمية فهي خارج نطاق التصميم .

إخلاء المسؤولية بموجب قانون ADA

تذكر Google في وثائقها أن SL2T ليس بديلاً عن خدمات الترجمة الفورية المهنية ولا يجب الاعتماد عليه في سياقات قد تسبب فيها أخطاء التواصل ضرراً .

قيود تقنية معروفة

• تدهور الأداء في الإضاءة المنخفضة: تنخفض الدقة بسبب ضعف موثوقية نقاط MediaPipe Holistic .
• دعم شخص واحد فقط: يعالج النموذج مستخدم إشارة واحداً في كل مرة، ولا يمكنه تفسير محادثات متعددة الأطراف .
• حد المقطع 60 ثانية: تُحدد مقاطع الترجمة الفردية بحوالي 60 ثانية من الإشارة .
• لا بيانات تدريبية لمن هم دون 18 عاماً: قد يكون النموذج أقل دقة مع المستخدمين الأصغر سناً .
• قيود التمثيل ثنائي الأبعاد: لا يتتبع النقاط اللسانية أو العمق، مما يصعّب التمييز بين اللمس والتحليق .

دور سام سيباه

لعب سام سيباه (Sam Sepah)، وهو موظف أصم في Google وعضو في فريق لغة الإشارة، دوراً محورياً في تطوير SL2T. وهو مؤلف مشارك في منشور مجموعة بيانات FSboard المستخدمة في تقييم النموذج . وتؤكد مدونة Google والتقرير المشترك على أن الفريق عمل عن كثب مع موظفي Google الصم - بمن فيهم سيباه - خلال الاختبارات قبل الإطلاق لاكتشاف سلوكيات النموذج وقضايا الواجهة التي قد لا تكشفها المعايير وحدها .

يدعم النموذج في البداية لغة الإشارة الأمريكية (ASL) إلى الإنجليزية، ليعمل كأداة إملاء من الإشارة إلى النص في تطبيقي Gboard (للطباعة والبحث والمراسلة) وLive Transcribe (للمحادثات غير الرسمية وجهاً لوجه) عبر هواتف Pixel 11 . ويمثل الإطلاق نقلة من البحث الخالص إلى منتج حقيقي، لكن مع حدود واستثناءات محددة بعناية.

كيف يعمل SL2T؟

بيانات التدريب: أكثر من 100,000 ساعة و 50 لغة إشارة

دُرب النموذج على أكثر من 100,000 ساعة من فيديوهات لغة الإشارة تغطي أكثر من 50 لغة إشارة، حوالي ربعها بلغة الإشارة الأمريكية . وبالتدريب المشترك على لغات متعددة ولهجات ومستويات مهارة، وجدت أبحاث Google أن النموذج يتفوق على الأنظمة أحادية اللغة، إذ يتعلم أنماطاً بنيوية مشتركة تُحسّن من تعميمه . ومن المهم الإشارة إلى أن بيانات التدريب تستبعد عمداً من تقل أعمارهم عن 18 عاماً، مما قد يقلل الدقة مع المستخدمين الأصغر سناً .

التتبع على الجهاز: المغادرة هي للإحداثيات فقط

صُمم النظام للخصوصية. تقوم كاميرا الهاتف بتشغيل MediaPipe Holistic لاستخراج إحداثيات ثنائية الأبعاد لـ 130 نقطة رئيسية (الوجه والجسم واليدين) إطاراً بإطار. ثم يُتخلص من فيديو الكاميرا الخام فوراً ولا يغادر الجهاز أبداً . فقط هذه الإحداثيات الهندسية المجردة تُرسل إلى خوادم Google للترجمة، ولا تُحتفظ بسجلات لإدخالات المستخدم أو مخرجاته دون إذن صريح . ولكن، تمثيل الإحداثيات ثنائي الأبعاد لا يتتبع نقاط اللسان ولا يوفر ترتيباً للعمق، مما يصعّب التمييز بين لمس الأيدي والتحليق فوقها، وكلاهما مهم في لغة الإشارة الأمريكية .

الترجمة المباشرة من الوضعية إلى النص: بدون وسائط لغوية

يستخدم SL2T محولاً يعالج مباشرة سلسلة إحداثيات الوضعية ويولد النص الإنجليزي بشكل تراجعي (توليد كلمة تلو الأخرى). على عكس الأساليب السابقة، لا يُخرج أولاً تمثيلات وسيطة . النموذج يترجم بدلاً من أن ينسخ حرفياً، أي يُنتج نصاً إنجليزياً طبيعياً وليس مطابقة كلمة بكلمة لإشارات ASL.

أداء المعايير: الأفضل لكنه معلن من المطور

في اختبار FLEURS-ASL (مجموعة بيانات تقييم للغة معقدة ومجردة سُجلت في ظروف استوديو بمترجمين صم معتمدين)، يسجل SL2T 70 نقطة على مقياس BLEURT، وهو أعلى بكثير من أي نتيجة سابقة منشورة، حسب قول Google . نتائج إضافية:

• 74 BLEURT على متغير بيد واحدة من FLEURS-ASL
• 85 BLEURT على PRESTO-ASL، مجموعة بيانات لعبارات المساعد الذكي
• 64% دقة تطابق تام على FSboard، مجموعة بيانات للتهجئة بالأصابع من مستخدمين صم على أجهزة محمولة

من المهم ملاحظة أن هذه الأرقام معلنة من جوجل نفسها؛ لم يُنشر أي تقييم مستقل حتى تاريخ الإطلاق.

الحوكمة والقيود: مبني مع ضوابط

لجنة استشارية للغة الإشارة

شكّلت Google لجنة استشارية خارجية باسم AI Sign Language Advisory Committee (AISLAC) تضم ممثلين عن الجمعية الوطنية للصم (NAD) وRIT/NTID وDPAN والاتحاد العالمي للصم (WFD). شاركت AISLAC في كتابة التقرير المشترك للأثر الذي يحدد حدود النموذج التشغيلية .

حالات الاستخدام المحظورة

صُمم النموذج وقُيّم فقط لـ المواقف غير الرسمية منخفضة المخاطر مثل الإملاء النصي والرسائل واستعلامات البحث والمحادثات الفردية (كالمقاهي والمتاجر). أما السياقات عالية المخاطر أو المحادثات الجماعية في المجالات الطبية والقانونية والأكاديمية فهي خارج نطاق التصميم .

إخلاء المسؤولية بموجب قانون ADA

تذكر Google في وثائقها أن SL2T ليس بديلاً عن خدمات الترجمة الفورية المهنية ولا يجب الاعتماد عليه في سياقات قد تسبب فيها أخطاء التواصل ضرراً .

قيود تقنية معروفة

• تدهور الأداء في الإضاءة المنخفضة: تنخفض الدقة بسبب ضعف موثوقية نقاط MediaPipe Holistic .
• دعم شخص واحد فقط: يعالج النموذج مستخدم إشارة واحداً في كل مرة، ولا يمكنه تفسير محادثات متعددة الأطراف .
• حد المقطع 60 ثانية: تُحدد مقاطع الترجمة الفردية بحوالي 60 ثانية من الإشارة .
• لا بيانات تدريبية لمن هم دون 18 عاماً: قد يكون النموذج أقل دقة مع المستخدمين الأصغر سناً .
• قيود التمثيل ثنائي الأبعاد: لا يتتبع النقاط اللسانية أو العمق، مما يصعّب التمييز بين اللمس والتحليق .

دور سام سيباه

لعب سام سيباه (Sam Sepah)، وهو موظف أصم في Google وعضو في فريق لغة الإشارة، دوراً محورياً في تطوير SL2T. وهو مؤلف مشارك في منشور مجموعة بيانات FSboard المستخدمة في تقييم النموذج . وتؤكد مدونة Google والتقرير المشترك على أن الفريق عمل عن كثب مع موظفي Google الصم - بمن فيهم سيباه - خلال الاختبارات قبل الإطلاق لاكتشاف سلوكيات النموذج وقضايا الواجهة التي قد لا تكشفها المعايير وحدها .