Implan otak UCSF mentafsir pertuturan dan gerak isyarat serentak bagi individu lumpuh

Penyelidik di University of California, San Francisco (UCSF) meletakkan susunan elektrokortikografi (ECoG) berketumpatan tinggi dengan 253 elektrod pada permukaan korteks sensorimotor. Kawasan otak ini terlibat dalam perancangan pertuturan dan pergerakan. Sistem itu merekod aktiviti saraf ketika peserta cuba bertutur dan membuat gerak isyarat menggunakan bahagian atas badan, walaupun mereka mengalami kelumpuhan yang teruk. Sistem pembelajaran mesin kemudian menterjemahkan isyarat itu dalam masa beberapa saat kepada pertuturan dan gerakan serentak pada avatar maya yang diperibadikan. 23

Cara sistem ini berfungsi

• Implan menangkap aktiviti korteks yang berkaitan dengan percubaan menggerakkan saluran vokal dan melakukan tindakan bahagian atas badan. 23
• Pasukan penyelidik melatih penyahkod pembelajaran mesin yang khusus mengikut tugas, bukannya mengandaikan satu representasi saraf umum boleh mengendalikan kedua-dua bentuk komunikasi. Satu penyahkod memetakan aktiviti otak kepada pertuturan yang ingin diucapkan, manakala satu lagi memetakan isyarat kepada arahan atau kinematik gerak isyarat untuk avatar. 23
• Dapatan utama neurosains ialah aktiviti saraf apabila pertuturan dan gerak isyarat dilakukan bersama bukan semata-mata jumlah aktiviti yang direkodkan ketika pertuturan sahaja dan gerak isyarat sahaja. Justeru, latihan berasaskan tugasan komunikasi gabungan yang lebih semula jadi adalah penting supaya suara dan pergerakan avatar boleh diselaraskan. Bukti yang tersedia menyokong hasil multimodal serentak ini, tetapi tidak memberikan butiran mencukupi untuk mengukur tahap ketidakaditifan atau prestasi penyahkod secara angka. 23

Mengapa ia berpotensi penting

Sistem teks kepada suara yang menggunakan penjejakan mata boleh menjadi perlahan dan memenatkan kerana pengguna perlu memilih huruf atau ikon satu demi satu. Sistem sedemikian juga menyampaikan perkataan, tetapi tidak banyak makna perbualan yang biasanya dibawa melalui postur, pergerakan lengan dan penegasan.

Pendekatan UCSF bertujuan memulihkan kedua-dua saluran komunikasi itu pada masa yang sama. Avatar yang boleh bercakap sambil membuat gerak isyarat berpotensi menjadikan interaksi lebih semula jadi, misalnya untuk menunjukkan penegasan, persetujuan, menunjuk atau isyarat sosial bahagian atas badan yang lain. Namun, ini masih demonstrasi penyelidikan dan bukannya peranti komunikasi klinikal yang tersedia untuk kegunaan umum. 23

Peserta dan tugasan

Kajian ini melibatkan tiga individu yang mengalami kelumpuhan pada saluran vokal dan anggota badan. 2 Bukti yang dibekalkan tidak mengenal pasti diagnosis setiap peserta atau punca kelumpuhan mereka, dan tidak menghuraikan senarai penuh tugasan eksperimen. Ia hanya menyokong bahawa peserta cuba bertutur dan membuat gerak isyarat bahagian atas badan ketika sistem menyahkod kedua-duanya. 3

Laporan berkaitan kajian menyebut keadaan seperti strok dan amyotrophic lateral sclerosis (ALS) dalam populasi yang mengalami kelumpuhan, tetapi petikan sumber berautoriti yang tersedia tidak membenarkan punca tertentu dikaitkan dengan peserta tertentu.

Kekangan semasa dan langkah seterusnya

Sistem yang ditunjukkan ketika ini masih berwayar. Grid korteks perlu disambungkan secara fizikal kepada perkakasan rakaman dan pengkomputeran luaran, sekali gus mengehadkan penggunaan bebas dalam kehidupan harian.

Arah pembangunan yang dinyatakan ialah sistem tanpa wayar yang ditanam sepenuhnya, bagi menghapuskan kabel yang melalui kulit dan menyokong penggunaan berterusan yang lebih praktikal. Sumber yang dibekalkan tidak menyatakan jadual pelaksanaan, pengeluar peranti atau status kelulusan kawal selia.

Kaitannya dengan kerja UCSF pada 2023

Penyelidikan baharu ini melanjutkan kerja neuroprostesis pertuturan pasukan Chang pada 2023. Dalam kajian itu, susunan 253 saluran pada korteks sensorimotor digunakan pada seorang individu dengan kelumpuhan teruk dan anarthria — ketidakupayaan untuk menghasilkan pertuturan bermakna — untuk menyahkod ayat yang ingin diucapkan serta menyokong avatar. 1

Sistem 2023 menumpukan keluaran pertuturan dan animasi wajah avatar. Kajian lebih baharu ini memperluas pendekatan umum rakaman korteks berketumpatan tinggi dan penyahkodan AI yang sama kepada komunikasi gerak isyarat bahagian atas badan secara serentak. 12