שתל מוחי של UCSF מפענח דיבור ומחוות בו־זמנית

תקשורת אנושית אינה מסתכמת במילים. אנחנו מדגישים, מהנהנים, מצביעים ומושכים בכתפיים — לעיתים באותו רגע שבו אנחנו מדברים. חוקרים מאוניברסיטת קליפורניה בסן פרנסיסקו (UCSF) הראו כעת ממשק מוח־מחשב (BCI) שמנסה לשחזר את שני ערוצי התקשורת יחד: דיבור ומחוות. אצל שלושה משתתפים עם שיתוק חמור של מערכת הדיבור והגפיים, השתל קלט פעילות מוחית בזמן שניסו לדבר ולבצע תנועות של פלג הגוף העליון; אלגוריתמים של למידת מכונה תרגמו אותה לטקסט ולתנועות של אווטאר אישי כמעט בזמן אמת. 17

כך פעל השתל בעל 253 האלקטרודות

המערכת התבססה על מערך צפוף של 253 אלקטרודות ECoG — אלקטרוקורטיקוגרפיה, מדידה של פעילות חשמלית מפני השטח של קליפת המוח. המערך הונח על הקורטקס הסנסו־מוטורי, אזור רחב המקושר הן לתנועות הכרוכות בדיבור והן לתנועות של פלג הגוף העליון. 17

המשתתפים ניסו לדבר ולעשות מחוות, אף שלא יכלו לבצע אותן באופן רגיל. השתל הקליט את האותות העצביים הקשורים לניסיונות אלה, ומודלי למידת מכונה תרגמו אותם לפלט מילולי ולפעולות של האווטאר. כך התאפשרו דיבור ותנועה במקביל, במקום שליטה בשני מצבים נפרדים. 14

החוקרים זיהו אותות הקשורים לתנועות פה ופנים הקשורות לדיבור, ולמחוות גוף עליון כגון הנהון, משיכת כתפיים והנפת אגרוף. אצל שניים מהמשתתפים נעשה שימוש בפענוח מקביל של דיבור ומחוות כדי לשלוט באווטאר. 7

מדוע נדרשו מפענחים נפרדים

דיבור ומחוות הם חלקים קשורים של אותה תקשורת, אך במחקר לא התייחסו אליהם כאל פקודה מוטורית כללית אחת. החוקרים השתמשו בגישות פענוח מותאמות למשימה — אחת לפלט המילולי ואחרות לתנועות המיועדות.

הסיבה לכך חשובה: לפי הדיווח, הדפוסים העצביים שנקלטו בעת דיבור ומחווה בו־זמנית אינם רק סכום פשוט של האותות שנמדדו בכל משימה בנפרד. אימון על משימות תקשורת משולבות אפשר לפיכך פלט מתואם: אווטאר יכול להשמיע את הדיבור המיועד ובו־בזמן לבצע מחווה תואמת. עם זאת, המידע הזמין אינו מספיק כדי להעריך באופן עצמאי את היקף ההשפעה הזאת או להשוות את ביצועי המפענחים בכל המשימות. 147

מעבר לטקסט על מסך

מערכות תקשורת מסייעת רבות מבוססות על בחירת אותיות, מילים או סמלים, בדרך כלל אחד־אחד. הן עשויות להיות חיוניות למשתמשים, אבל הבחירה הרציפה עלולה להפוך שיחה לאיטית ומתישה. בעבודת UCSF מ־2023, למשל, התקן התקשורת הקיים של משתתפת הפיק כ־14 מילים בדקה, בעוד שהמערכת הניסיונית פענחה טקסט בקצב של קרוב ל־80 מילים בדקה. 28

המערכת החדשה מכוונת גם למגבלה אחרת: טקסט לבדו אינו מעביר את מלוא המשמעות החברתית של שיחה. מחווה יכולה לבטא הסכמה, הדגשה, ברכה או כיוון לצד הדיבור. לכן, אווטאר שמדבר וגם נע נועד להפוך את התקשורת למביעה יותר — לא רק להציג מילים מהר יותר על צג. 134

מי השתתף במחקר — ומה עדיין לא ידוע

החוקרים הקליטו פעילות מוחית מ־שלושה משתתפים עם שיתוק של מערכת הדיבור והגפיים. הם בדקו ניסיונות דיבור, תנועות של פלג הגוף העליון, ואצל שני משתתפים גם פענוח מקביל של דיבור ומחוות. 7

המקורות שסופקו אינם מפרטים באופן מהימן, משתתף אחר משתתף, מה הייתה הסיבה לשיתוק או מה היה פרוטוקול המשימות המלא. דיווחים על אוכלוסיות רלוונטיות מזכירים מצבים כגון שבץ וטרשת אמיוטרופית צידית (ALS), אך אין לייחס אבחנה מסוימת לאחד המשתתפים ללא פרטים קליניים מלאים מהמחקר. 36

עדיין לא מכשיר לשימוש יומיומי

זהו ממשק מוח־מחשב מחקרי, ולא מוצר צרכני או מכשיר רפואי זמין. במתכונת שהודגמה הוא חוטי: רשת האלקטרודות המושתלת מחוברת לציוד חיצוני להקלטה ולעיבוד חישובי. החיבור הפיזי מגביל שימוש עצמאי ושגרתי.

מטרת הפיתוח המוצהרת היא גרסה אלחוטית שתושתל במלואה ותייתר את הכבל העובר דרך העור. המקורות אינם מבססים לוח זמנים, יצרן או סטטוס אישור רגולטורי, ולכן מוקדם לראות במערכת פתרון רפואי זמין.

ההמשך למחקר האווטאר מ־2023

העבודה החדשה ממשיכה מחקר בהובלת UCSF שפורסם ב־2023 בכתב העת Nature. באותו מחקר השתתפה אישה עם שיתוק חמור ואנארתריה — אובדן יכולת הדיבור המוטורי — שהשתמשה במערך ECoG צפוף בן 253 ערוצים כדי לפענח משפטים שהתכוונה לומר לטקסט, לדיבור מסונתז ולהנפשת אווטאר פנים. 33

המערכת הקודמת התמקדה בדיבור ובפלט פנים. המחקר החדש מרחיב את אותה גישה כללית — הקלטה מפני השטח של קליפת המוח ופענוח מבוסס בינה מלאכותית — כך שתכלול במקביל גם מחוות של פלג הגוף העליון. זהו צעד משמעותי לקראת נוירו־תותבות שיוכלו להשיב גם את החלק המילולי וגם את החלק הלא־מילולי של שיחה, אך נדרש מחקר רב נוסף לפני שימוש קליני שגרתי. 12434