ממשק מוח־מחשב של UCSF מפענח דיבור ומחוות בו־זמנית אצל משותקים

חוקרי אוניברסיטת קליפורניה בסן פרנסיסקו (UCSF) הניחו על פני הקורטקס הסנסורי־מוטורי מערך צפוף של 253 אלקטרודות מסוג ECoG — רישום חשמלי מפני השטח של המוח. האזור הזה מעורב בתכנון תנועות, ובהן תנועות הנדרשות לדיבור. המערכת קלטה פעילות מוחית בזמן שהמשתתפים ניסו לדבר ולבצע מחוות בפלג הגוף העליון, אף שהיו משותקים. 23

מערכות למידת מכונה תרגמו את האותות בתוך שניות לשני ערוצי פלט במקביל: דיבור ומחוות של אווטאר מונפש ומותאם אישית. כך, למשל, האווטאר יכול לנופף תוך אמירת שלום או להנהן לאות הסכמה. 23

כך פעלה המערכת

• השתל קלט פעילות קורטיקלית הקשורה לניסיונות להפעיל את מערכת הקול ולבצע תנועות של פלג הגוף העליון, גם כאשר התנועה או הדיבור עצמם לא היו אפשריים. 23
• במקום להסתמך על מודל כללי יחיד, החוקרים אימנו מפענחים ייעודיים לכל משימה: מפענח אחד קישר את הפעילות המוחית לדיבור המיועד, ומפענח אחר קישר אותה לפקודות מחווה או לקינמטיקה — דפוסי התנועה — של האווטאר. 23
• ממצא מרכזי היה שהפעילות העצבית בעת שילוב של דיבור ומחווה אינה פשוט סכום הפעילות שנמדדה בדיבור בלבד ובמחווה בלבד. לכן היה חשוב לאמן את המערכת על משימות תקשורת טבעיות ומשולבות, כדי לתאם בין הקול לתנועה של האווטאר. המקורות הזמינים אינם מספקים נתון כמותי על מידת ההבדל הזו או על ביצועי המפענחים. 23

למה זה עשוי להיות משמעותי

מערכות תקשורת המבוססות על מעקב עיניים והקראת טקסט עלולות להיות איטיות ומעייפות, משום שהמשתמש נדרש בדרך כלל לבחור אותיות או סמלים בזה אחר זה. הן גם מעבירות מילים, אך לא חלק ניכר מהמסר שנוצר באמצעות יציבה, תנועות ידיים, הצבעה או הדגשה. 2

הגישה החדשה נועדה להחזיר בו־זמנית ערוץ מילולי וערוץ לא־מילולי: אווטאר שמדבר וגם מחווה עשוי לבטא כוונה תקשורתית באופן טבעי יותר. עם זאת, מדובר בהדגמה מחקרית, ולא במכשיר תקשורת זמין לשימוש קליני שגרתי. 23

המשתתפים ומה שנבדק

• במחקר השתתפו שלושה אנשים עם שיתוק הן של מערכת הקול והן של הגפיים. 2
• החומרים שסופקו אינם מפרטים את האבחנה או הגורם לשיתוק אצל כל משתתף, ואינם מציגים רשימה מלאה של המשימות הניסיוניות. הם תומכים רק בקביעה שהמשתתפים ניסו לדבר ולבצע מחוות בפלג הגוף העליון בזמן שהמערכת פענחה את שני הערוצים. 3
• בדיווחים על תחום המחקר מוזכרים מצבים כגון שבץ וטרשת אמיוטרופית צידית (ALS), אך אין במקורות המובאים בסיס לייחס גורם מסוים למשתתף מסוים.

המגבלה הנוכחית והשלב הבא

המערכת שהודגמה כיום מחווטת: רשת האלקטרודות במוח מחוברת פיזית לציוד הקלטה ומחשוב חיצוני. מגבלה זו מקשה על שימוש עצמאי ורציף בחיי היום־יום.

כיוון הפיתוח המוצהר הוא מערכת אלחוטית שמושתלת במלואה, כדי לבטל את הכבל החוצה את העור ולאפשר שימוש מעשי יותר. במקורות שסופקו אין מידע על לוח זמנים, יצרן או סטטוס רגולטורי.

הקשר למחקר UCSF מ־2023

העבודה החדשה מרחיבה מחקר של צוות צ'אנג שפורסם ב־2023 ב־Nature. במחקר ההוא נעשה שימוש במערך ECoG צפוף בן 253 ערוצים אצל אדם אחד עם שיתוק חמור ואנארתריה — אובדן היכולת להגות דיבור — כדי לפענח משפטים שהתכוון לומר ולהפעיל אווטאר. 1

המערכת מ־2023 התמקדה בפלט דיבור ובהנפשת פני האווטאר. העבודה החדשה מרחיבה את אותה גישה כללית של רישום קורטיקלי צפוף ופענוח בעזרת בינה מלאכותית, כך שתכלול גם תקשורת מחוות של פלג הגוף העליון במקביל לדיבור. 12