Cấy ghép não của UCSF giải mã đồng thời lời nói và cử chỉ

Giao tiếp không chỉ là lời nói: chúng ta còn gật đầu, chỉ tay, nhún vai hay dùng cử chỉ để nhấn mạnh ý. Các nhà nghiên cứu tại Đại học California, San Francisco (UCSF) đã trình diễn một giao diện não – máy tính (brain-computer interface, BCI) có thể khôi phục đồng thời cả hai kênh này. Ở 3 người bị liệt nặng đường phát âm và các chi, một mảng điện cực cấy ghép ghi nhận hoạt động não khi họ cố gắng nói và thực hiện cử chỉ phần thân trên; sau đó, học máy dùng các tín hiệu này để điều khiển một avatar cá nhân hóa gần như theo thời gian thực. 17

Hệ BCI 253 điện cực hoạt động ra sao?

Thiết bị sử dụng mảng điện cực vỏ não đồ (ECoG) mật độ cao gồm 253 điện cực, đặt trên bề mặt vùng vỏ não cảm giác-vận động. Đây là vùng não rộng liên quan đến các vận động phục vụ phát âm, cũng như chuyển động phần thân trên. 17

Dù không thể thực hiện những hành động ấy một cách bình thường, những người tham gia vẫn cố gắng nói và làm cử chỉ. Implant ghi lại các tín hiệu thần kinh đi kèm với ý định đó. Những mô hình học máy tiếp tục chuyển tín hiệu thành văn bản và hành động của avatar, để đầu ra lời nói và chuyển động có thể diễn ra cùng lúc thay vì phải điều khiển theo từng chế độ riêng lẻ. 14

Nghiên cứu ghi nhận tín hiệu liên quan đến nhiều dạng vận động, từ chuyển động miệng và mặt phục vụ lời nói đến các cử chỉ phần thân trên như gật đầu, nhún vai và siết tay. Với 2 người tham gia, nhóm nghiên cứu đã dùng giải mã song song lời nói và cử chỉ để điều khiển avatar. 7

Vì sao cần bộ giải mã riêng cho lời nói và cử chỉ?

Lời nói và cử chỉ gắn bó chặt chẽ trong giao tiếp, nhưng nghiên cứu không coi chúng là một mệnh lệnh vận động chung chung. Nhóm nghiên cứu áp dụng các cách giải mã chuyên biệt theo nhiệm vụ, tương ứng với đầu ra ngôn ngữ và đầu ra vận động mong muốn.

Điểm đáng chú ý là các mẫu tín hiệu thần kinh khi người dùng đồng thời nói và làm cử chỉ dường như không chỉ là phép cộng đơn giản của tín hiệu trong từng nhiệm vụ riêng lẻ. Vì thế, việc huấn luyện trên các nhiệm vụ giao tiếp kết hợp giúp tạo ra đầu ra phối hợp: avatar có thể phát lời nói dự định trong khi thực hiện cử chỉ phần thân trên phù hợp. Tuy nhiên, thông tin hiện có chưa đủ để đánh giá độc lập quy mô của hiệu ứng này hoặc đối chiếu hiệu năng bộ giải mã trên mọi nhiệm vụ. 147

Avatar có ý nghĩa gì ngoài việc hiện chữ trên màn hình?

Nhiều công cụ giao tiếp hỗ trợ hiện nay yêu cầu người dùng chọn lần lượt từng chữ cái, từ hoặc biểu tượng. Chúng rất hữu ích, nhưng cách chọn tuần tự có thể khiến cuộc trò chuyện chậm và mệt mỏi. Trong nghiên cứu thần kinh giả phục hồi lời nói trước đây của UCSF, một người tham gia dùng thiết bị giao tiếp sẵn có chỉ đạt khoảng 14 từ mỗi phút, trong khi hệ thử nghiệm giải mã văn bản gần 80 từ mỗi phút. 28

Hệ BCI mới còn nhắm đến một giới hạn khác: văn bản đơn thuần không chuyển tải đầy đủ ý nghĩa xã hội trong hội thoại. Cử chỉ có thể biểu thị sự đồng tình, lời chào, sự nhấn mạnh hoặc hướng chỉ dẫn ngay bên cạnh lời nói. Vì vậy, avatar vừa nói vừa cử động được thiết kế để giao tiếp biểu cảm hơn, chứ không đơn thuần là hiển thị chữ trên màn hình. 134

Ai tham gia nghiên cứu và thử nghiệm cho thấy điều gì?

Nhóm nghiên cứu ghi hoạt động thần kinh của 3 người bị liệt đường phát âm và các chi. Họ thử các nhiệm vụ gồm cố gắng nói, cử động phần thân trên và, với 2 người, giải mã song song lời nói cùng cử chỉ. 7

Các nguồn được cung cấp không nêu đầy đủ nguyên nhân liệt của từng người tham gia, cũng như quy trình thử nghiệm chi tiết theo từng người. Một số thông tin về nhóm người bệnh rộng hơn có đề cập các tình trạng như đột quỵ và bệnh xơ cứng teo cơ một bên (ALS), nhưng không thể dùng điều đó để gán chẩn đoán cho bất kỳ người tham gia cụ thể nào khi chưa có chi tiết lâm sàng đầy đủ. 36

Đây chưa phải thiết bị thương mại

Hệ thống vẫn là một BCI đang trong giai đoạn nghiên cứu. Thiết lập được trình diễn hiện nay dùng dây nối: lưới điện cực cấy trên vỏ não phải kết nối vật lý với thiết bị ghi và xử lý tín hiệu bên ngoài. Điều này hạn chế khả năng sử dụng độc lập trong sinh hoạt hằng ngày.

Mục tiêu phát triển được nêu là phiên bản không dây, cấy ghép hoàn toàn để loại bỏ dây xuyên qua da. Tuy vậy, các bằng chứng hiện có chưa xác lập mốc thời gian, nhà sản xuất hoặc tình trạng phê duyệt quản lý; do đó, còn quá sớm để xem đây là một sản phẩm y tế sẵn có.

Mối liên hệ với nghiên cứu avatar năm 2023 của UCSF

Công trình mới tiếp nối nghiên cứu do UCSF dẫn dắt công bố trên Nature năm 2023. Khi đó, một người bị liệt nặng và mất khả năng phát âm đã sử dụng mảng ECoG mật độ cao 253 kênh để giải mã các câu dự định thành văn bản, giọng nói tổng hợp và hoạt ảnh avatar khuôn mặt. 33

Hệ năm 2023 tập trung vào đầu ra lời nói và khuôn mặt. Nghiên cứu mới mở rộng cách tiếp cận chung này — ghi tín hiệu trên bề mặt vỏ não kết hợp giải mã bằng AI — sang giao tiếp bằng cử chỉ phần thân trên diễn ra đồng thời. Đây là một bước tiến đáng kể hướng tới các hệ thần kinh giả có thể khôi phục cả thành phần ngôn ngữ lẫn phi ngôn ngữ của hội thoại, dù vẫn cần thêm nhiều nghiên cứu trước khi có thể ứng dụng thường quy trong lâm sàng. 12434