Implan Otak UCSF Nyahkod Pertuturan dan Gerak Isyarat Serentak

Komunikasi bukan sekadar perkataan. Kita mengangguk, menunjuk, mengangkat bahu dan menggunakan gerak badan untuk memberi penegasan ketika bercakap. Penyelidik di University of California, San Francisco (UCSF) kini menunjukkan antara muka otak-komputer, atau BCI, yang direka untuk memulihkan kedua-dua saluran komunikasi itu pada masa yang sama.

Dalam tiga individu yang mengalami lumpuh teruk pada saluran vokal dan anggota badan, satu susunan elektrod yang diimplan merekodkan aktiviti otak ketika peserta cuba bertutur serta membuat gerak isyarat bahagian atas badan. Pembelajaran mesin kemudian menterjemahkan isyarat tersebut kepada teks dan pergerakan avatar maya yang diperibadikan, hampir dalam masa nyata. 17

Cara implan 253 elektrod ini berfungsi

Sistem ini menggunakan susunan elektrokortikografi (ECoG) berketumpatan tinggi dengan 253 elektrod, yang diletakkan pada permukaan korteks sensorimotor. Kawasan luas otak ini mengandungi aktiviti yang berkaitan dengan pergerakan untuk pertuturan dan juga pergerakan bahagian atas badan. 17

Walaupun tidak dapat melaksanakan pergerakan itu secara normal, peserta cuba bercakap dan membuat gerak isyarat. Implan merekodkan isyarat saraf yang berkaitan dengan percubaan tersebut. Model pembelajaran mesin menterjemahkannya kepada teks serta tindakan avatar, supaya output suara dan pergerakan boleh berlaku serentak, bukannya dikawal sebagai dua mod berasingan. 14

Kajian itu melaporkan isyarat bagi beberapa jenis pergerakan, termasuk pergerakan mulut dan wajah yang berkaitan dengan pertuturan, serta gerak isyarat bahagian atas badan seperti mengangguk, mengangkat bahu dan mengepal tangan. Bagi dua peserta, penyelidik menggunakan penyahkodan pertuturan dan gerak isyarat secara selari untuk mengawal avatar. 7

Mengapa penyahkod berasingan penting

Pertuturan dan gerak isyarat saling berkait dalam komunikasi, tetapi kajian ini tidak menganggap kedua-duanya sebagai satu arahan motor umum. Penyelidik menggunakan pendekatan penyahkodan khusus mengikut tugas untuk output lisan dan pergerakan yang dimaksudkan.

Ini penting kerana corak saraf ketika pertuturan dan gerak isyarat dilakukan serentak dilaporkan bukan sekadar jumlah mudah isyarat bagi setiap tugas yang dilakukan secara berasingan. Dengan latihan menggunakan tugasan komunikasi gabungan, sistem boleh menghasilkan output yang diselaraskan: avatar boleh menyampaikan pertuturan yang dimaksudkan sambil membuat gerak isyarat bahagian atas badan yang sepadan. Namun, laporan yang tersedia tidak memberikan butiran mencukupi untuk menilai sendiri saiz kesan bukan tambahan itu atau membandingkan prestasi penyahkod bagi semua tugasan. 147

Lebih daripada teks pada skrin

Banyak sistem komunikasi bantuan bergantung pada pemilihan huruf, perkataan atau ikon satu demi satu. Sistem sedemikian tetap bernilai, tetapi kaedah pemilihan berurutan boleh menjadikan perbualan perlahan dan memenatkan.

Kerja neuroprostesis pertuturan UCSF sebelum ini menunjukkan jurang tersebut: peranti komunikasi sedia ada seorang peserta menghasilkan kira-kira 14 perkataan seminit, manakala sistem eksperimen itu menyahkod teks pada hampir 80 perkataan seminit. 28

BCI baharu ini turut menyasarkan satu lagi kekangan: teks sahaja tidak membawa semua makna sosial dalam perbualan. Gerak isyarat boleh menyampaikan persetujuan, penegasan, sapaan atau arah seiring dengan pertuturan. Oleh itu, avatar yang boleh bercakap dan bergerak bertujuan menjadikan komunikasi lebih ekspresif, bukan hanya memaparkan teks pada skrin. 134

Peserta dan skop kajian

Penyelidik merekodkan aktiviti saraf daripada tiga peserta yang mengalami lumpuh saluran vokal dan anggota badan. Mereka menguji percubaan pertuturan, pergerakan bahagian atas badan dan, bagi dua peserta, penyahkodan pertuturan bersama gerak isyarat secara selari. 7

Sumber yang dibekalkan tidak menyediakan perincian yang boleh dipercayai tentang punca lumpuh bagi setiap peserta atau protokol penuh tugasan. Laporan tentang populasi yang lebih luas menyebut keadaan seperti strok dan amyotrophic lateral sclerosis (ALS), tetapi maklumat itu tidak boleh digunakan untuk menetapkan diagnosis kepada mana-mana peserta tanpa butiran klinikal penuh kajian. 36

Masih bukti konsep, bukan produk pengguna

Ini masih BCI penyelidikan. Sistem yang ditunjukkan adalah berwayar, dengan grid kortikal yang diimplan perlu disambungkan kepada perkakasan rakaman dan pengkomputeran luaran. Sambungan fizikal itu mengehadkan penggunaan harian secara bebas.

Matlamat pembangunan yang dinyatakan ialah versi tanpa wayar yang diimplan sepenuhnya, yang berpotensi menghapuskan kabel yang menembusi kulit. Namun, sumber yang tersedia tidak menetapkan jadual, pengeluar atau status kelulusan pengawalseliaan. Maka, terlalu awal untuk menganggapnya sebagai produk perubatan yang sudah tersedia.

Sambungan kepada kerja avatar pertuturan UCSF pada 2023

Kerja baharu ini menyusuli kajian Nature yang diketuai UCSF pada 2023. Dalam kajian terdahulu, seorang peserta dengan lumpuh teruk dan anartria menggunakan susunan ECoG berketumpatan tinggi 253 saluran untuk menyahkod ayat yang dimaksudkan kepada teks, pertuturan tersintesis dan animasi wajah avatar. 33

Sistem terdahulu tertumpu pada output pertuturan dan wajah. Kajian terkini memperluas pendekatan umum yang sama — rakaman pada permukaan korteks serta penyahkodan berasaskan AI — kepada komunikasi gerak isyarat bahagian atas badan secara serentak. Ia satu langkah bermakna ke arah neuroprostesis yang cuba memulihkan unsur lisan dan bukan lisan dalam perbualan bersama-sama, walaupun lebih banyak penyelidikan masih diperlukan sebelum penggunaan klinikal rutin. 12434