Implan otak UCSF terjemah pertuturan dan isyarat tangan serentak melalui avatar

Penyelidik di University of California, San Francisco (UCSF) yang diketuai pakar bedah saraf Edward Chang menunjukkan bahawa satu implan korteks berketumpatan tinggi boleh menterjemahkan niat seseorang untuk bertutur dan membuat pergerakan bahagian atas badan pada masa yang sama. Hasilnya, avatar maya boleh berkomunikasi menerusi suara serta gerak isyarat — bukan teks semata-mata. Ini ialah bukti konsep yang penting, bukannya sistem yang sudah sedia digunakan secara klinikal. 37

Cara sistem itu berfungsi

Tiga peserta yang mengalami lumpuh teruk pada saluran vokal dan anggota badan, termasuk akibat ALS serta strok batang otak, menerima susunan elektrokortikografi (ECoG) 253 elektrod pada korteks sensorimotor. ECoG ialah kaedah yang merekod aktiviti elektrik dari permukaan otak.

Penyelidik merekod isyarat otak apabila peserta cuba menyebut frasa, membuat gerak isyarat seperti melambai atau memberi tanda ibu jari ke atas, ataupun melakukan kedua-duanya serentak. Model pembelajaran mesin kemudian dilatih untuk memadankan corak aktiviti tersebut kepada output pertuturan dan gerakan avatar. 37

Isyarat ketika bercakap sambil bergerak bukan sekadar campuran biasa

Kajian itu mendapati pertuturan dan gerak isyarat bahagian atas badan menghasilkan corak aktiviti korteks yang boleh dibezakan, walaupun kedua-duanya saling diselaraskan. Yang penting, corak saraf ketika peserta cuba berkomunikasi dengan suara dan gerak isyarat serentak bukan sekadar jumlah corak daripada ujian bercakap sahaja dan bergerak sahaja.

Sebaliknya, cubaan gabungan itu mempunyai corak aktiviti tersendiri. Justeru, sistem perlu mempelajari tingkah laku bersama tersebut, bukan menganggap suara dan pergerakan sebagai dua saluran yang bebas sepenuhnya. 37

Latihan menggunakan data serentak memberi kelebihan

Penyahkod yang dilatih dengan contoh peserta cuba bercakap dan membuat gerak isyarat pada masa yang sama didapati lebih baik dalam menafsirkan tindakan serentak berbanding model yang dilatih hanya dengan tugasan pertuturan atau pergerakan secara berasingan.

Bagi dua peserta, sistem masa nyata itu mengawal avatar seluruh badan: pertuturan sintetik avatar dan pergerakan bahagian atas badannya berlaku seiring. Ini membolehkan bentuk komunikasi seperti melambai sambil memberi salam atau mengangguk ketika bersetuju. 37

Mengapa ia berpotensi terasa lebih semula jadi daripada sistem jejak mata

Sistem ejaan melalui pandangan mata lazimnya menghendaki pengguna memilih huruf atau item menu satu demi satu. Proses itu boleh menjadi perlahan dan memenatkan.

Namun, perbualan manusia bukan hanya tentang perkataan. Makna turut disampaikan melalui masa, penegasan, postur, menunjuk, sapaan, persetujuan dan pelbagai gerak isyarat lain. Jika isyarat-isyarat ini dapat dipulihkan bersama pertuturan, komunikasi berpotensi menjadi lebih pantas, kurang membebankan dan lebih kaya dari segi sosial.

Walau bagaimanapun, penyelidikan ini setakat ini membuktikan kebolehlaksanaan teknikal sahaja. Ia belum menunjukkan bahawa sistem tersebut benar-benar meningkatkan kualiti hidup dalam penggunaan harian jangka panjang. 37

Implikasi untuk komunikasi bukan lisan

Dapatan ini menunjukkan neuroprostesis komunikasi pada masa depan mungkin dapat memulihkan niat berkomunikasi yang melangkaui perkataan — termasuk persetujuan, penegasan, ucapan salam, bahasa tubuh yang membawa emosi dan aturan giliran dalam perbualan — bagi individu yang tidak dapat bergerak atau bertutur.

Ia juga menyokong prinsip yang lebih luas: satu antara muka korteks boleh menyahkod beberapa bentuk komunikasi yang saling diselaraskan. 37

Langkah seterusnya: sistem tanpa wayar yang ditanam sepenuhnya

Demonstrasi semasa menggunakan persediaan penyelidikan berwayar. Pasukan itu merancang sistem tanpa wayar yang ditanam sepenuhnya bagi menjadikan penggunaan berterusan dalam kehidupan harian lebih praktikal, dengan menghapuskan kabel luaran sambil memperluas penyahkodan pelbagai mod.

Usaha ini dibina atas demonstrasi pasukan tersebut dalam jurnal Nature pada 2023. Dalam kerja terdahulu itu, seorang peserta yang lumpuh akibat strok batang otak menggunakan isyarat korteks untuk menghasilkan teks, pertuturan sintetik dan avatar wajah dengan ekspresi. 14