Implan Otak UCSF Bisa Membaca Ucapan dan Gerak Tubuh Sekaligus

Komunikasi bukan hanya soal kata-kata. Anggukan, gerakan tangan, angkatan bahu, dan penekanan lewat bahasa tubuh sering menentukan makna sebuah percakapan. Tim University of California, San Francisco (UCSF) kini mendemonstrasikan antarmuka otak-komputer atau brain-computer interface (BCI) yang dirancang untuk menangkap dua unsur itu sekaligus: niat berbicara dan gestur. Pada tiga orang dengan kelumpuhan berat pada saluran vokal serta anggota gerak, sistem tersebut menggerakkan avatar virtual yang dipersonalisasi hampir secara waktu nyata. 17

Cara kerja implan 253 elektroda

Sistem ini menggunakan susunan 253 elektroda elektrokortikografi (ECoG) berdensitas tinggi yang ditempatkan di permukaan korteks sensorimotor. Area korteks ini berkaitan dengan aktivitas untuk gerakan bicara maupun gerakan tubuh bagian atas. 17

Peserta diminta berusaha berbicara dan melakukan gestur walaupun mereka tidak dapat menjalankannya secara normal. Implan merekam sinyal saraf yang terkait dengan upaya tersebut. Berikutnya, model pembelajaran mesin menerjemahkan sinyal itu menjadi teks dan tindakan avatar, sehingga keluaran ucapan dan gerakan dapat muncul bersamaan, bukan dikendalikan sebagai dua mode yang terpisah. 14

Sinyal yang ditangkap mencakup gerakan mulut dan wajah terkait bicara, serta gestur tubuh bagian atas seperti mengangguk, mengangkat bahu, dan mengepalkan tangan. Pada dua peserta, peneliti menggunakan dekoding paralel untuk ucapan dan gestur guna mengendalikan avatar. 7

Mengapa dekoder ucapan dan gestur dipisahkan?

Ucapan dan gestur memang saling terkait, tetapi peneliti tidak memperlakukannya sebagai satu perintah motorik umum. Mereka menggunakan pendekatan dekoding yang khusus untuk keluaran verbal dan keluaran gerak.

Hal penting dari studi ini adalah sinyal saraf ketika peserta berusaha berbicara sambil melakukan gestur dilaporkan bukan sekadar penjumlahan sinyal dari masing-masing tugas secara terpisah. Pelatihan pada tugas komunikasi gabungan memungkinkan keluaran yang lebih terkoordinasi: avatar dapat menyampaikan ucapan yang dimaksud sambil membuat gestur tubuh bagian atas yang sesuai. Namun, informasi yang tersedia belum cukup untuk menilai sendiri besarnya efek tersebut atau membandingkan kinerja dekoder pada seluruh tugas. 147

Bukan sekadar teks di layar

Banyak perangkat komunikasi bantu bekerja dengan memilih huruf, kata, atau ikon satu demi satu. Perangkat seperti itu tetap bermanfaat, tetapi proses seleksinya dapat membuat percakapan lambat dan melelahkan. Dalam riset neuroprostesis ucapan UCSF sebelumnya, perangkat komunikasi peserta menghasilkan sekitar 14 kata per menit, sedangkan sistem eksperimental mampu mendekode teks hampir 80 kata per menit. 28

Sistem baru ini juga menargetkan keterbatasan lain: teks saja tidak memuat seluruh makna sosial dalam percakapan. Gestur dapat menyatakan persetujuan, penekanan, salam, atau arah bersamaan dengan ucapan. Karena itu, avatar yang berbicara sekaligus bergerak ditujukan untuk membuat komunikasi lebih ekspresif, bukan hanya menampilkan kalimat di layar. 134

Siapa pesertanya dan apa yang diuji?

Peneliti merekam aktivitas saraf dari tiga peserta dengan kelumpuhan saluran vokal dan anggota gerak. Mereka menguji upaya berbicara, gerakan tubuh bagian atas, dan—pada dua peserta—dekoding ucapan serta gestur secara paralel. 7

Sumber yang tersedia tidak memberikan rincian yang cukup andal mengenai penyebab kelumpuhan setiap peserta ataupun protokol tugas lengkapnya. Laporan mengenai populasi yang lebih luas menyebut kondisi seperti stroke dan amyotrophic lateral sclerosis (ALS), tetapi hal itu tidak dapat dipakai untuk menetapkan diagnosis bagi peserta tertentu tanpa rincian klinis penuh dari studi. 36

Masih bukti konsep, belum perangkat konsumen

BCI ini masih bersifat investigasional. Sistem yang didemonstrasikan masih berkabel: grid kortikal terhubung ke perangkat perekaman dan komputasi eksternal. Koneksi fisik tersebut membatasi penggunaan mandiri dalam kehidupan sehari-hari.

Tujuan pengembangannya adalah versi nirkabel yang sepenuhnya ditanamkan agar kabel yang menembus kulit dapat dihilangkan. Belum ada jadwal, produsen, maupun status persetujuan regulasi yang ditetapkan dalam bukti yang tersedia. Jadi, terlalu dini untuk menganggapnya sebagai produk medis yang sudah tersedia.

Kelanjutan riset avatar UCSF pada 2023

Riset ini mengikuti studi UCSF pada 2023 yang terbit di Nature. Dalam studi terdahulu itu, seorang peserta dengan kelumpuhan berat dan anartria menggunakan array ECoG berdensitas tinggi 253 kanal untuk mendekode kalimat yang diniatkan menjadi teks, suara sintetis, dan animasi wajah avatar. 33

Sistem 2023 berfokus pada ucapan dan keluaran wajah. Studi terbaru memperluas pendekatan yang sama—perekaman dari permukaan korteks dan dekoding berbasis AI—ke komunikasi gestural tubuh bagian atas secara bersamaan. Hasilnya merupakan langkah penting menuju neuroprostesis yang berupaya memulihkan bagian verbal dan nonverbal dari percakapan, meski masih diperlukan banyak penelitian sebelum teknologi ini bisa digunakan rutin di layanan klinis. 12434