Tek beyin implantı konuşma ve jestleri aynı anda çözdü

Konuşmak yalnızca kelimelerden ibaret değildir: el sallamak, başparmak kaldırmak, onay için baş sallamak veya bir ifadeyi jestle vurgulamak da iletişimin parçasıdır. California Üniversitesi San Francisco (UCSF) araştırmacıları, nöroşirürjiyen Edward Chang liderliğinde yürüttükleri çalışmada, tek bir beyin implantının bu iki kanalı aynı anda çözebileceğini gösterdi. Sistem, felçli kişilerin amaçladığı konuşmayı ve üst vücut hareketlerini sanal bir avatarın eşzamanlı sesi ve hareketi hâline getirdi. Bu, klinik kullanıma hazır bir ürün değil, önemli bir teknik fizibilite gösterimi. 37

Sistem nasıl çalıştı?

Araştırmaya, ALS ve beyin sapı inmesi dâhil nedenlerle ses yolu ve uzuvlarında ağır felç bulunan üç kişi katıldı. Katılımcıların duyusal-motor korteksinin —konuşma ve hareket komutlarıyla ilişkili beyin yüzeyi bölgesinin— üzerine 253 elektrotlu yüksek yoğunluklu elektrokortikografi (ECoG) dizileri yerleştirildi. ECoG, beynin yüzeyindeki elektriksel etkinliği kaydeden bir yöntemdir. 37

Katılımcılardan bazı denemelerde sözcük ya da cümle söylemeye çalışmaları, bazı denemelerde el sallama ve başparmak kaldırma gibi jestleri yapmaya çalışmaları, bazı denemelerde ise ikisini birlikte denemeleri istendi. Araştırmacılar bu sinyallerden yararlanarak makine öğrenmesi modellerini eğitti; modeller, beyindeki etkinliği konuşma ve hareket çıktısına eşledi. 37

Eşzamanlı iletişim, iki ayrı sinyalin basit toplamı değil

Çalışma, konuşma ile üst vücut jestlerinin beyinde birbirinden ayrılabilen ancak eşgüdümlü etkinlik örüntüleri ürettiğini ortaya koydu. Daha da önemlisi, kişi aynı anda hem konuşmaya hem jest yapmaya çalıştığında görülen sinirsel örüntü, yalnızca konuşma denemesindeki ve yalnızca jest denemesindeki sinyallerin toplaması değildi. Birleşik iletişim girişimlerinin kendine özgü beyin etkinliği vardı. 37

Bu bulgu, konuşma ile hareketi tümüyle bağımsız iki görev gibi ele alan sistemlerin sınırını gösteriyor: Doğal iletişimde iki kanal birbirini etkiliyor ve çözümleyicinin bu ortak davranışı öğrenmesi gerekiyor.

Neden birlikte eğitilen modeller daha iyi sonuç verdi?

Konuşma ve jestin beraber denendiği örneklerle eğitilen çözümleyiciler, eşzamanlı iletişimi yalnızca konuşma ya da yalnızca hareket kayıtlarıyla eğitilen modellere göre daha iyi çözdü. İki katılımcıda gerçek zamanlı sistem, tam vücutlu bir avatarı kontrol ederek sentezlenmiş konuşmayı ve üst vücut hareketlerini aynı anda üretti. 37

Böylece avatar, örneğin selam verirken el sallama gibi, gündelik konuşmada alışıldık olan ses-jest birlikteliğini yansıtabildi.

Göz takibiyle yazmaya göre neden daha doğal olabilir?

Göz takibiyle çalışan yazı sistemlerinde kullanıcı, karakterleri veya menü seçeneklerini sırayla seçmek zorundadır. Bu süreç yavaş ve yorucu olabilir. Oysa yüz yüze konuşmada anlam; zamanlama, vurgu, duruş, işaret etme, selamlama ve onaylama jestleriyle de taşınır.

Konuşmanın yanına bu sözsüz ipuçlarını eklemek, iletişimi potansiyel olarak daha hızlı, daha az zahmetli ve sosyal açıdan daha zengin kılabilir. Ancak mevcut çalışma, uzun süreli gündelik kullanımda yaşam kalitesini artırdığını henüz kanıtlamış değil; gösterdiği şey, bunun teknik olarak mümkün olduğudur. 37

Sözsüz iletişimin geri kazanılması için ne anlama geliyor?

Araştırma, gelecekteki bir iletişim nöroproteziğinin yalnızca kelimeleri değil; anlaşma, vurgu, selamlama, duygusal beden dili ve konuşma sırası alma gibi iletişim niyetlerini de geri kazandırabileceğine işaret ediyor. Ayrıca tek bir kortikal arayüzün, birbiriyle bağlantılı birden fazla iletişim biçimini çözebileceği fikrini destekliyor. 37

Sıradaki hedef: kablosuz ve tamamen implante sistem

Bu gösterimde kablolu bir araştırma düzeneği kullanıldı. Ekip, dışarıdaki kabloyu ortadan kaldırarak uzun süreli ve günlük kullanımı daha uygulanabilir hâle getirmeyi amaçlayan tamamen implante, kablosuz bir sistem planlıyor. 7

Bu çalışma, ekibin 2023’te yayımlanan ve beyin sapı inmesi nedeniyle felçli bir katılımcının kortikal sinyallerini metne, sentezlenmiş sese ve yüz ifadeleri olan bir yüz avatarına dönüştürdüğü Nature çalışmasının üzerine inşa ediliyor. 14