Tek beyin implantı konuşma ve üst vücut jestlerini eşzamanlı çözdü

UCSF (San Francisco Kaliforniya Üniversitesi) araştırmacıları, konuşma ve hareketin planlanmasında rol alan sensorimotor korteksin yüzeyine 253 elektrotlu, yüksek yoğunluklu bir elektrokortikografi (ECoG) dizisi yerleştirdi. Sistem, ciddi felç yaşayan katılımcılar konuşmaya ve üst vücutlarıyla jest yapmaya çalışırken ortaya çıkan beyin etkinliğini kaydetti. Yapay zekâ tabanlı yöntemler bu sinyalleri saniyeler içinde hem konuşma çıktısına hem de kişiselleştirilmiş sanal avatarın jestlerine dönüştürdü. 23

Sistem neyi ve nasıl çözdü?

• İmplant, felç nedeniyle hareket gerçekleşmese bile katılımcının ses yolu hareketlerini ve üst vücut eylemlerini gerçekleştirme niyetiyle ilişkili kortikal sinyalleri yakaladı. 23
• Araştırmacılar, tüm iletişim biçimleri için tek bir genel model kullanmak yerine göreve özgü ayrı çözücüler eğitti. Bir çözücü amaçlanan konuşmayı, diğeri ise avatarın jest komutlarını ya da hareket parametrelerini eşledi. 23
• Böylece avatar, örneğin “merhaba” derken el sallama ya da bir ifadeye baş sallayarak katılma gibi sözlü ve sözsüz iletişim öğelerini aynı anda sunabildi. 3

Bu yaklaşımın önemli nörobilim bulgusu, konuşma ve jest birlikte yapılmaya çalışıldığında görülen beyin etkinliğinin, yalnızca konuşma ile yalnızca jest sırasında kaydedilen etkinliklerin basit bir toplamı olmamasıydı. Bu nedenle modellerin, doğal iletişime daha yakın olan birleşik konuşma-jest görevleriyle eğitilmesi gerektiği sonucuna varıldı. Mevcut kaynaklar eşzamanlı çoklu iletişim sonucunu destekliyor; ancak bu farkın büyüklüğünü veya çözücülerin performansını sayısal olarak değerlendirmek için yeterli ayrıntı sunmuyor. 23

Neden önemli olabilir?

Göz takibiyle çalışan yazıdan sese sistemlerde kullanıcılar çoğu zaman harfleri veya simgeleri tek tek seçer. Bu yöntem etkili olsa da yavaş ve yorucu olabilir; ayrıca duruş, kol hareketi, vurgu ve onaylama gibi sözsüz iletişim unsurlarını aktarmakta sınırlıdır. Yeni sistemin hedefi, sözel mesajla birlikte bu sözsüz kanalı da geri kazandırmak. 2

Konuşan ve jest yapan bir avatar; vurgu yapma, onay belirtme veya bir şeyi işaret etme gibi sosyal anlam taşıyan üst vücut sinyallerini sözlerle eşzamanlı iletebilir. Ancak bu teknoloji şu an için klinikte kullanıma sunulmuş bir iletişim cihazı değil, araştırma amaçlı bir gösterimdir. 23

Katılımcılar ve görevler

Araştırmada hem ses yolu hem de uzuv felci bulunan üç kişi yer aldı. 2 Sağlanan kaynaklar, her katılımcının felç nedenini veya deneydeki tüm görev listesini ayrı ayrı belirtmiyor. Kesin olarak desteklenen bilgi, katılımcıların konuşmaya ve üst vücut jestleri yapmaya çalıştığı, sistemin de bu iki niyeti birlikte çözdüğüdür. 3

Bu tür araştırmalardaki felç tablosu inme veya amyotrofik lateral skleroz (ALS) gibi durumları içerebilir. Ancak sağlanan yüksek güvenilirlikteki alıntılar, belirli bir nedeni belirli bir katılımcıya atfetmeye izin vermiyor.

Mevcut sınırlama: Sistem kablolu

Gösterilen düzenek şu anda kablolu: korteksteki elektrot ızgarasının, kayıt ve hesaplama donanımına fiziksel olarak bağlanması gerekiyor. Bu da sistemin bağımsız ve günlük kullanımını sınırlandırıyor.

Araştırmacıların belirttiği sonraki yön, cilt dışına çıkan kabloyu ortadan kaldıracak, tamamen implant edilebilir kablosuz bir sisteme geçmek. Sağlanan kaynaklarda bunun için bir takvim, üretici bilgisi veya düzenleyici onay durumu yer almıyor.

2023’teki UCSF çalışmasının devamı

Bu çalışma, Chang ekibinin 2023’te Nature dergisinde yayımlanan konuşma nöroprotezi araştırmasının devamı niteliğinde. Önceki çalışmada, ciddi felci ve anartrisi olan bir kişide 253 kanallı sensorimotor korteks dizisiyle amaçlanan cümleler çözülmüş ve bir avatar desteklenmişti. 1

2023’teki sistem konuşma çıktısına ve yüz avatarının canlandırılmasına odaklanıyordu. Yeni çalışma ise aynı genel yüksek yoğunluklu kortikal kayıt ve yapay zekâ ile çözümleme yaklaşımını, üst vücut jestlerini de konuşmayla eşzamanlı biçimde aktaracak şekilde genişletiyor. 12