UCSF’nin beyin implantı konuşmayı ve beden dilini aynı anda çözüyor

İletişim yalnızca sözcüklerden oluşmaz. Baş sallamak, omuz silkmek ya da bir hareketle vurgulamak, konuşmanın anlamını tamamlar. Kaliforniya Üniversitesi San Francisco (UCSF) araştırmacıları, ağır felçli kişilerin bu iki iletişim kanalını aynı anda kullanabilmesine yönelik deneysel bir beyin-bilgisayar arayüzü (BCI) geliştirdi.

Çalışmada, ses yolu ve uzuv felci bulunan üç kişinin beyin etkinliği, konuşmaya ve üst vücut hareketlerine niyet ettikleri sırada kaydedildi. Makine öğrenmesi bu sinyalleri saniyeler içinde ekrandaki metne ve kişiye özel hareketli bir sanal avatarın konuşma ve jestlerine dönüştürdü. 17

253 elektrotlu sistem nasıl çalışıyor?

Sistemin temelinde, beynin yüzeyine yerleştirilen yüksek yoğunluklu 253 elektrotlu elektrokortikografi (ECoG) dizisi bulunuyor. Dizi, konuşma hareketleriyle birlikte üst vücut hareketleriyle ilişkili sinyalleri de içeren sensorimotor korteksin geniş bir bölümünü kaplıyor. 17

Katılımcılar konuşmaya, yüz ve ağız hareketleri yapmaya ya da üst bedenleriyle jest yapmaya çalıştı; fiziksel olarak bu hareketleri normal biçimde gerçekleştiremeseler de implant, buna eşlik eden sinirsel etkinliği kaydetti. Ardından modeller bu sinyalleri metne ve avatar komutlarına çevirdi. Böylece konuşma ve hareket, ayrı ayrı seçilen komutlar olarak değil, eşzamanlı çıktı olarak üretilebildi. 14

Araştırmacılar; konuşmayla bağlantılı ağız-yüz hareketlerinin yanı sıra baş sallama, omuz silkmek ve yumruğu havaya kaldırmak gibi üst vücut jestlerine ilişkin sinyalleri de ayırt etti. İki katılımcıda konuşma ve jest çözümlemesi paralel biçimde kullanılarak avatar kontrol edildi. 7

Neden ayrı çözücüler kullanıldı?

Konuşma ve jest, günlük iletişimde iç içe geçse de araştırma bunları tek bir genel hareket komutu gibi ele almadı. Amaçlanan sözlü çıktı ile hareket çıktısı için göreve özgü çözümleme yaklaşımları kullanıldı.

Bu önemli bir ayrıntı: Eşzamanlı konuşma ve jest sırasında kaydedilen beyin sinyallerinin, yalnızca konuşma ve yalnızca jest görevlerindeki sinyallerin basit toplamı olmadığı bildirildi. Birleşik iletişim görevleriyle eğitim yapılması, avatarın konuşurken aynı anda uygun üst vücut hareketini yapabilmesini sağladı. Ancak mevcut raporlama, bu farkın büyüklüğünü ya da tüm görevlerdeki çözücü performansını bağımsız olarak değerlendirecek ayrıntıyı sunmuyor. 147

Metin tabanlı iletişimin ötesinde ne sunuyor?

Pek çok yardımcı iletişim sistemi, harflerin, kelimelerin veya simgelerin tek tek seçilmesine dayanır. Bu yöntemler çok değerli olsa da konuşmayı yavaş ve yorucu hâle getirebilir. UCSF’nin önceki konuşma nöroprotezi çalışmasında, bir katılımcının mevcut iletişim cihazı dakikada yaklaşık 14 kelime üretirken deneysel sistem metni dakikada yaklaşık 80 kelime hızında çözümlemişti. 28

Yeni sistemin hedeflediği mesele yalnızca hız değil. Metin, onay, vurgu, selamlama veya yön gösterme gibi sosyal anlamları taşıyan beden dilini tek başına aktaramaz. Konuşan ve hareket eden avatarın amacı da bu nedenle sadece ekranda yazı göstermek değil; iletişimi daha ifade dolu kılmak. 134

Çalışmaya kimler katıldı?

Araştırmacılar, ses yolu ve uzuv felci bulunan üç katılımcının sinirsel etkinliğini kaydetti. Deneylerde amaçlanan konuşma ve üst vücut hareketleri test edildi; iki katılımcıda bunların paralel çözümlemesi gerçekleştirildi. 7

Sunulan kaynaklar, katılımcıların her biri için felcin nedenini veya deney protokolünün tamamını güvenilir biçimde açıklamıyor. Daha geniş hasta grupları hakkında yapılan haberlerde inme ve amyotrofik lateral skleroz (ALS) gibi durumlar anılsa da, tam klinik ayrıntılar olmadan bu tanıları belirli katılımcılara atfetmek doğru olmaz. 36

Henüz günlük kullanıma hazır değil

Bu BCI, tüketiciye ya da hastanelerde rutin kullanıma sunulmuş bir ürün değil; araştırma amaçlı bir sistem. Mevcut düzeneğin kablolu olması, beynin yüzeyindeki elektrot dizisinin dış kayıt ve hesaplama donanımına fiziksel olarak bağlanmasını gerektiriyor. Bu da bağımsız ve günlük kullanımı sınırlıyor.

Araştırmacıların hedefi, cilt üzerinden geçen kabloyu ortadan kaldıracak tamamen implante edilebilir kablosuz bir sürüm geliştirmek. Ancak eldeki kanıtlar, bu sürüm için bir takvim, üretici ya da düzenleyici kurum onayı ortaya koymuyor.

2023’teki konuşma-avatar çalışmasının devamı

Yeni araştırma, UCSF liderliğinde 2023’te Nature dergisinde yayımlanan çalışmanın üzerine kuruldu. O araştırmada ağır felç ve anartrisi bulunan bir katılımcının amaçladığı cümleler, 253 kanallı yüksek yoğunluklu ECoG dizisiyle metne, sentezlenmiş konuşmaya ve yüz avatarı animasyonuna dönüştürülmüştü. 33

Önceki sistem konuşma ve yüz çıktısına odaklanıyordu. Yeni çalışma ise aynı genel yaklaşımı —beyin yüzeyinden kayıt ve yapay zekâ destekli çözümleme— üst vücut jestlerini de konuşmayla eşzamanlı biçimde iletişime katacak şekilde genişletiyor. Bu, sözel ve sözel olmayan iletişimi birlikte geri kazandırmayı hedefleyen nöroprotezler için dikkat çekici bir kavram kanıtı; ancak rutin klinik kullanımdan önce daha fazla araştırmaya ihtiyaç var. 12434