Một cấy ghép não có thể giải mã đồng thời lời nói và cử chỉ

Giao tiếp tự nhiên không chỉ là câu chữ. Một cái gật đầu, động tác vẫy tay, giơ ngón cái hay cách nhấn mạnh bằng cử chỉ đều mang ý nghĩa. Nhóm nghiên cứu do bác sĩ phẫu thuật thần kinh Edward Chang tại Đại học California, San Francisco (UCSF) dẫn dắt đã trình diễn một giao diện não - máy tính (BCI) có thể khôi phục hai lớp giao tiếp ấy cùng lúc: lời nói dự định và cử chỉ phần thân trên, thông qua một avatar ảo.

Đây là một minh chứng về tính khả thi đáng chú ý, chứ chưa phải hệ thống có thể triển khai lâm sàng đại trà. 37

Hệ thống hoạt động ra sao?

Ba người bị liệt nặng ở cả đường phát âm lẫn tay chân, trong đó có người mắc ALS và người bị đột quỵ thân não, được đặt mảng điện cực vỏ não ECoG mật độ cao gồm 253 điện cực trên vùng vỏ não cảm giác - vận động. ECoG là kỹ thuật ghi nhận hoạt động điện ngay trên bề mặt não.

Trong các buổi thử nghiệm, người tham gia cố gắng phát âm các cụm từ, làm cử chỉ như vẫy tay hoặc giơ ngón cái, hoặc vừa nói vừa thực hiện cử chỉ. Các nhà nghiên cứu thu tín hiệu não trong những lần cố gắng đó, rồi huấn luyện mô hình học máy để chuyển tín hiệu thành đầu ra lời nói và chuyển động. 37

Não không chỉ “ghép” hai tín hiệu lại với nhau

Nghiên cứu cho thấy ý định nói và ý định cử động phần thân trên tạo ra các mẫu hoạt động vỏ não có thể phân biệt, dù chúng phối hợp chặt chẽ. Điểm then chốt là khi người tham gia cố gắng nói và ra hiệu đồng thời, tín hiệu não thu được không chỉ là phép cộng đơn giản của tín hiệu ở các lượt chỉ nói và chỉ cử động.

Nói cách khác, giao tiếp đa phương thức có một chữ ký thần kinh riêng. Vì vậy, bộ giải mã cần học từ dữ liệu nói - cử chỉ diễn ra cùng lúc, thay vì coi giọng nói và vận động là hai kênh hoàn toàn tách biệt. 37

Huấn luyện bằng dữ liệu đồng thời giúp avatar tự nhiên hơn

Các bộ giải mã được huấn luyện trên những ví dụ mà người dùng cố gắng nói và ra hiệu cùng lúc hoạt động tốt hơn trong việc giải mã các hành động đồng thời, so với mô hình chỉ học từ những nhiệm vụ riêng lẻ.

Ở hai người tham gia, hệ thống thời gian thực đã điều khiển một avatar toàn thân: avatar có thể phát giọng nói tổng hợp trong khi thực hiện cử động phần thân trên tương ứng. Điều này mở đường cho những tình huống như vừa nói lời chào vừa vẫy tay, hoặc thể hiện sự đồng tình kèm cử chỉ. 37

Vì sao cách này có thể tự nhiên hơn giao tiếp bằng mắt?

Nhiều hệ thống hỗ trợ giao tiếp hiện nay dùng theo dõi ánh mắt để người dùng chọn lần lượt từng ký tự hoặc mục trên màn hình. Phương pháp này rất quan trọng với nhiều người, nhưng việc chọn theo chuỗi có thể chậm và gây mệt mỏi.

Trong hội thoại thường ngày, ý nghĩa còn được truyền tải qua nhịp điệu, sự nhấn mạnh, tư thế, động tác chỉ trỏ, lời chào, dấu hiệu tán thành và luân phiên lượt nói. Khả năng khôi phục những yếu tố phi ngôn ngữ cùng lời nói có thể làm tương tác nhanh hơn, ít gắng sức hơn và giàu sắc thái xã hội hơn.

Tuy nhiên, nghiên cứu hiện mới chứng minh khả năng kỹ thuật. Nó chưa chứng minh rằng hệ thống sẽ cải thiện chất lượng sống trong sử dụng dài hạn ngoài đời thực. 37

Ý nghĩa: khôi phục cả điều người dùng muốn biểu đạt, không chỉ từng từ

Kết quả gợi ý rằng một thiết bị phục hồi giao tiếp thần kinh trong tương lai có thể hỗ trợ người không thể nói hoặc cử động truyền đạt nhiều hơn nội dung bằng lời: sự đồng ý, lời chào, cảm xúc thể hiện qua ngôn ngữ cơ thể, sự nhấn mạnh và tín hiệu chuyển lượt trong hội thoại.

Đồng thời, nghiên cứu củng cố nguyên lý rằng chỉ một giao diện đặt trên vỏ não cũng có thể giải mã nhiều hình thức giao tiếp phối hợp với nhau. 37

Bước tiếp theo là loại bỏ dây nối

Bản trình diễn hiện tại sử dụng thiết lập nghiên cứu có dây. Nhóm nghiên cứu dự định phát triển hệ thống cấy ghép hoàn toàn và không dây, với mục tiêu giúp việc sử dụng lâu dài hằng ngày thực tế hơn nhờ không còn cáp nối ra bên ngoài, đồng thời mở rộng năng lực giải mã đa phương thức.

Hướng đi này tiếp nối công trình trên Nature năm 2023 của nhóm: một người bị liệt do đột quỵ thân não đã dùng tín hiệu vỏ não để tạo văn bản, giọng nói tổng hợp và avatar khuôn mặt có biểu cảm. 14