SL2T של Google DeepMind: כך ה-Pixel 11 הופך שפת סימנים לטקסט

מעקב נקודות ציון במכשיר: רק הקואורדינטות עוזבות את הטלפון

המערכת תוכננה תוך דגש על פרטיות. מצלמת הטלפון מפעילה את MediaPipe Holistic לחילוץ קואורדינטות דו-ממדיות של 130 נקודות מפתח (פנים, גוף, ידיים) תמונה אחר תמונה. הווידאו הגולמי נמחק מיד לאחר מכן ולעולם לא עוזב את המכשיר . רק הקואורדינטות הגאומטריות המופשטות נשלחות לשרתי Google לתרגום, וללא הרשאה מפורשת לא נשמרים לוגים של הקלט או הפלט של המשתמש . ייצוג הדו-ממדי לא עוקב אחר תנועות הלשון ולא מספק מידע על עומק, מה שמקשה על הבחנה בין מגע לרחף – שני אלמנטים חשובים ב-ASL .

תרגום ישיר מפוזיציה לטקסט: דילוג על ייצוגי ביניים

SL2T משתמש בטרנספורמר שמתרגם ישירות מרצף קואורדינטות הנקודות לטקסט באנגלית, ללא שלב ביניים של גלוסים (ייצוגים לשוניים ידניים) . למעשה, המודל מתרגם ולא מתמלל – הוא מייצר טקסט אנגלי טבעי, ולא מיפוי מילה-במילה של הסימנים.

ביצועי אמת מידה: מובילים – אך על פי דיווחי החברה

ב-FLEURS-ASL, מבחן אפס-נתונים להערכת תרגום של שפה מורכבת ומופשטת שהוקלטה בתנאי אולפן על ידי מתורגמנים חירשים מוסמכים, SL2T משיג 70 BLEURT – ציון שגוגל טוענת כי גבוה בהרבה מכל תוצאה שדווחה בעבר . תוצאות נוספות כוללות:

• 74 BLEURT על גרסת יד אחת של FLEURS-ASL
• 85 BLEURT על PRESTO-ASL, מאגר ביטויים בסגנון עוזר AI
• 64% דיוק התאמה מלאה על FSboard, מאגר איות באצבעות שנאסף ממשתמשים חירשים במכשירים ניידים

חשוב לציין כי מדובר בנתוני יצרן; לא פורסם אימות בלתי תלוי נכון למועד ההשקה.

ממשל, מגבלות וסייגים: נבנה עם גדרות בטיחות

הוועדה המייעצת ל-AI לשפת סימנים (AISLAC)

גוגל הקימה ועדה מייעצת חיצונית, הכוללת נציגים מ-National Association of the Deaf (NAD), RIT/NTID, DPAN ו-World Federation of the Deaf (WFD). הוועדה שותפה לכתיבת דוח ההשפעה המשותף (Joint Impact Report) המגדיר את גבולות התפעול של המודל .

שימושים אסורים

SL2T תוכנן ונבחן אך ורק לשימוש במצבים לא רשמיים ובעלי השלכה נמוכה, כגון הקלדת טקסט, שליחת הודעות, חיפוש ושיחות מזדמנות של אחד על אחד (למשל בבית קפה או בחנות). שיחות במערכות רפואיות, משפטיות ואקדמיות – ובמיוחד שיחות רב-משתתפים – מחוץ לתחום הגדרתו .

הסתייגות ADA (חוק האמריקנים עם מוגבלויות)

גוגל מצהירה במפורש בתיעוד שלה כי SL2T אינו תחליף לשירותי תרגום מקצועיים ואין להסתמך עליו בהקשרים שבהם טעות בתקשורת עלולה לגרום נזק .

מגבלות טכניות ידועות

• ירידה באור חלש: ביצועי המודל נפגעים בתאורה נמוכה, בשל ירידה באמינות זיהוי נקודות הציון של MediaPipe Holistic .
• תמיכה במסמן בודד: המודל מטפל רק במסמן אחד בכל פעם; הוא אינו יכול לתרגם שיחות בקבוצה .
• מגבלת 60 שניות: כל קטע תרגום מוגבל לכ-60 שניות של סימון .
• אימון ללא בני נוער: היעדר נתונים על משתמשים מתחת לגיל 18 עלול לפגוע בדיוק עבור משתמשים צעירים .
• ייצוג דו-ממדי: המערכת אינה עוקבת אחר תנועות הלשון ואינה מספקת מידע על עומק, מה שמקשה על הבחנה בין מגע לרחף – שניהם בעלי משמעות לשונית ב-ASL .

תפקידו של סם ספא (Sam Sepah)

סם ספא, עובד גוגל חירש וחבר בצוות שפת הסימנים, מילא תפקיד מרכזי בפיתוח SL2T. הוא שותף לכתיבת המאמר על מאגר FSboard ששימש בהערכת המודל . הבלוג של גוגל ודוח ההשפעה המשותף מדגישים כי הצוות עבד בשיתוף פעולה הדוק עם עובדי גוגל חירשים – כולל ספא – במהלך בדיקות טרום-ההשקה, כדי לחשוף התנהגויות מודל ובעיות ממשק שמדדי אמת מידה בלבד לא יכלו ללכוד .