שתל מוחי יחיד מאפשר לאווטאר לדבר ולבצע מחוות במקביל

חוקרים מאוניברסיטת קליפורניה בסן פרנסיסקו (UCSF), בהובלת הנוירוכירורג אדוארד צ'אנג, הראו כי שתל קורטיקלי צפוף יחיד יכול לתרגם בו-זמנית את הניסיון של אדם לדבר ואת הניסיון לבצע מחוות בפלג הגוף העליון. במקום תקשורת המבוססת על טקסט בלבד, האווטאר הווירטואלי יכול היה לשלב קול מסונתז עם תנועה — למשל מחוות ברכה או אישור. מדובר בהוכחת היתכנות מחקרית, ולא במערכת שכבר מוכנה לשימוש קליני יומיומי. 37

כך פעלה המערכת

בשלושה משתתפים עם שיתוק קשה של מערכת הדיבור והגפיים, לרבות אנשים עם ALS ושבץ בגזע המוח, הושתלו על קליפת המוח הסנסו־מוטורית מערכי ECoG — אלקטרוקורטיקוגרפיה, כלומר רישום אותות חשמליים ישירות מפני שטח המוח — ובהם 253 אלקטרודות. המשתתפים ניסו לומר משפטים, לבצע מחוות כגון נפנוף יד או אגודל מורם, ולעיתים לבצע את שניהם יחד. מודלים של למידת מכונה אומנו לקשר בין הפעילות המוחית לבין פלט של דיבור ומחווה. 37

דיבור ומחווה יחד אינם רק שני אותות נפרדים

המחקר מצא כי לדיבור ולמחוות פלג גוף עליון יש דפוסי פעילות קורטיקלית מובחנים אך מתואמים. החשוב מכל: כאשר המשתתפים ניסו לדבר ולבצע מחווה בו-זמנית, דפוס הפעילות לא היה סכום פשוט של האותות שנמדדו בניסויי דיבור בלבד ובניסויי תנועה בלבד. לפעולה המשולבת היה ייצוג מוחי ייחודי משלה.

מכאן נבע גם יתרון מעשי: מפענחים שאומנו על דוגמאות של דיבור ומחווה יחד הצליחו לפענח פעולות מקבילות טוב יותר ממפענחים שאומנו רק על משימות מבודדות. אצל שני משתתפים, המערכת בזמן אמת הפעילה אווטאר בעל גוף מלא, כך שהדיבור המסונתז ותנועות פלג הגוף העליון הופקו בתזמון משותף. 37

למה זה עשוי להרגיש טבעי יותר מממשק מבט

מערכות תקשורת המבוססות על מעקב עיניים מחייבות בדרך כלל בחירה סדרתית של אותיות או פריטים בתפריט. התהליך עשוי להיות איטי ומעייף. בשיחה טבעית, לעומת זאת, המשמעות אינה נמצאת רק במילים: גם תזמון, הדגשה, הנהון, הצבעה, ברכה, הסכמה ושפת גוף מעבירים מסר.

לכן, היכולת לשחזר מחוות לצד הדיבור עשויה בעתיד לאפשר תקשורת מהירה, פחות מאומצת ועשירה יותר מבחינה חברתית. עם זאת, המחקר עדיין לא הוכיח שיפור באיכות החיים או יתרון בשימוש יומיומי ארוך טווח; הוא מראה בעיקר שהדבר אפשרי מבחינה טכנולוגית. 37

המשמעות: תקשורת שמעבר למילים

העבודה מצביעה על אפשרות שלפיה תותב עצבי לתקשורת יוכל בעתיד לשחזר לא רק מילים, אלא גם כוונה תקשורתית לא־מילולית: אישור, הדגשה, ברכה, שפת גוף רגשית וניהול תור בשיחה. היא גם מחזקת את העיקרון שלפיו ממשק קורטיקלי יחיד עשוי לפענח כמה אופני תקשורת מתואמים. 37

השלב הבא: מערכת אלחוטית מושתלת במלואה

ההדגמה הנוכחית נעשתה במערכת מחקרית חוטית. הצוות מתכנן מערכת אלחוטית שתושתל במלואה, במטרה לבטל את הכבל החיצוני ולהפוך שימוש כרוני ויומיומי למעשי יותר, לצד הרחבת הפענוח הרב־אופני. העבודה נשענת על הדגמה שפורסמה ב־2023 בכתב העת Nature, שבה משתתפת עם שיתוק בעקבות שבץ בגזע המוח השתמשה באותות קורטיקליים כדי להפיק טקסט, דיבור מסונתז ואווטאר פנים בעל הבעות. 14