Implan otak UCSF menerjemahkan ucapan dan gestur pasien lumpuh secara bersamaan

Komunikasi manusia tidak hanya terdiri dari kata-kata. Lambaian tangan, anggukan, gestur jempol, penekanan, dan waktu gerak tubuh turut menyampaikan maksud. Tim University of California, San Francisco (UCSF) yang dipimpin ahli bedah saraf Edward Chang menunjukkan bahwa satu implan korteks berkerapatan tinggi dapat menerjemahkan upaya berbicara dan gerakan tubuh bagian atas secara bersamaan. Hasilnya, avatar virtual dapat berbicara sekaligus memberi gestur, bukan sekadar menghasilkan teks. Ini merupakan pembuktian konsep yang penting, tetapi belum menjadi sistem yang siap digunakan secara klinis. 37

Cara sistemnya bekerja

Tiga peserta dengan kelumpuhan berat pada saluran vokal dan anggota gerak—termasuk akibat ALS serta stroke batang otak—dipasangi susunan elektrokortikografi (ECoG) berisi 253 elektroda di atas korteks sensorimotor. ECoG merekam aktivitas listrik dari permukaan otak, khususnya area yang berkaitan dengan perencanaan dan pengendalian gerakan untuk bicara maupun tubuh. 37

Peneliti merekam sinyal ketika peserta berusaha mengucapkan frasa, melakukan gestur seperti melambaikan tangan atau mengacungkan jempol, serta ketika mencoba melakukan keduanya bersamaan. Data itu kemudian dipakai untuk melatih model pembelajaran mesin agar menghubungkan pola aktivitas otak dengan keluaran ucapan dan gerak avatar. 37

Sinyal saat bicara dan bergerak tidak sekadar dijumlahkan

Tim menemukan bahwa bicara dan gestur tubuh bagian atas menghasilkan pola aktivitas kortikal yang dapat dibedakan, tetapi tetap terkoordinasi. Yang penting, pola saraf ketika peserta berusaha berkomunikasi dengan bicara dan gestur secara bersamaan bukan sekadar gabungan sederhana dari pola pada percobaan bicara saja dan gestur saja. Upaya gabungan tersebut memiliki ciri aktivitasnya sendiri. 37

Temuan itu menjelaskan mengapa sistem tidak bisa memperlakukan suara dan gerakan sebagai dua kanal yang sepenuhnya terpisah. Decoder perlu mempelajari pola komunikasi yang berlangsung bersamaan.

Pelatihan dengan data simultan menghasilkan dekode yang lebih baik

Decoder yang dilatih menggunakan contoh ketika peserta mencoba bicara dan memberi gestur secara bersamaan bekerja lebih baik untuk menerjemahkan aksi simultan dibandingkan decoder yang hanya berlatih pada bicara terpisah atau gerakan terpisah. Pada dua peserta, sistem waktu nyata mengendalikan avatar tubuh penuh: suara sintetis dan gerakan tubuh bagian atas avatar muncul secara serempak. 37

Bagi orang dengan kelumpuhan berat, langkah ini berpotensi penting karena maksud seseorang tidak selalu tertangkap oleh kata-kata saja. Persetujuan, sapaan, penekanan, ekspresi bahasa tubuh, dan giliran berbicara dapat menjadi bagian dari komunikasi yang ingin dipulihkan.

Mengapa berpotensi lebih alami daripada mengeja dengan tatapan mata

Sistem komunikasi berbasis pelacakan mata umumnya meminta pengguna memilih huruf atau item menu satu per satu. Metode tersebut dapat lambat dan melelahkan. Sebaliknya, percakapan sehari-hari mengandalkan banyak isyarat yang terjadi pada saat bersamaan: intonasi, jeda, postur, menunjuk, mengangguk, atau melambaikan tangan.

Karena itu, mengembalikan gestur bersama ucapan dapat membuat interaksi terasa lebih kaya dan lebih mendekati cara orang berkomunikasi secara alami. Namun, riset ini baru membuktikan kelayakan teknisnya; belum menunjukkan manfaat kualitas hidup dalam penggunaan jangka panjang di kehidupan sehari-hari. 37

Langkah berikutnya: sistem nirkabel yang sepenuhnya tertanam

Demonstrasi ini masih menggunakan perangkat riset berkabel. Tim berencana mengembangkan sistem yang sepenuhnya tertanam di tubuh dan nirkabel, dengan tujuan menghilangkan kabel eksternal serta membuat penggunaan jangka panjang sehari-hari lebih praktis sambil memperluas dekode multimodal. 37

Arah tersebut melanjutkan demonstrasi tim pada 2023 di jurnal Nature. Dalam pekerjaan sebelumnya, seorang peserta dengan kelumpuhan akibat stroke batang otak menggunakan sinyal korteks untuk menghasilkan teks, suara sintetis, dan avatar wajah dengan ekspresi. 14

Jika teknologi ini terus berkembang dengan aman dan andal, neuroprostesis komunikasi dapat membantu memulihkan bukan hanya kemampuan menyusun kata, melainkan juga maksud nonverbal yang membuat percakapan terasa utuh.