Aivoliittymä tulkitsi puheen ja eleet yhtä aikaa halvaantuneilla osallistujilla

UCSF:n (University of California, San Francisco) tutkijat asettivat 253 elektrodin tiheän elektrokortikografisen eli ECoG-verkoston sensorimotorisen aivokuoren pinnalle. Tämä aivoalue osallistuu puheen ja liikkeiden suunnitteluun. Verkko tallensi hermotoimintaa, kun vaikeasti halvaantuneet osallistujat yrittivät puhua ja tehdä ylävartalon eleitä. Koneoppiminen muunsi signaalit muutamassa sekunnissa samanaikaiseksi puheeksi ja eleiksi osallistujakohtaiselle virtuaaliavatarille. 23

Näin järjestelmä tulkitsi kahta viestintätapaa

• Implantti rekisteröi aivokuoren toimintaa, joka liittyi puhe-elimistön liikkeiden ja ylävartalon toimintojen yrityksiin, vaikka osallistujat eivät halvaantumisen vuoksi kyenneet toteuttamaan niitä normaalisti. 23
• Tutkijat eivät käyttäneet yhtä yleistä mallia molempiin tehtäviin, vaan kouluttivat erilliset, tehtäväkohtaiset dekooderit. Toinen malli yhdisti aivotoiminnan aiottuun puheeseen, toinen avatarin elekomentoihin tai liikkeisiin. 23
• Keskeinen havainto oli, ettei puheeseen ja eleeseen liittyvä aivotoiminta niiden yhteiskäytössä ollut vain puhe- ja eletilanteissa mitattujen signaalien yksinkertainen summa. Siksi mallit kannatti kouluttaa yhdistetyillä, luonnollisempaa viestintää muistuttavilla tehtävillä. Näin avatarin puhe ja liikkeet voitiin sovittaa yhteen sen sijaan, että ne tuotettaisiin toisistaan irrallisina toimintoina. Saatavilla olevat tiedot tukevat samanaikaista monimuotoista dekoodausta, mutta eivät riitä ilmiön määrälliseen arviointiin tai suorituskykylukujen esittämiseen. 23

Miksi eleillä on merkitystä

Katseohjattavat tekstistä puheeksi -järjestelmät voivat olla hitaita ja kuormittavia, koska käyttäjän on valittava kirjaimia tai kuvakkeita yksi kerrallaan. Ne välittävät sanoja, mutta eivät välttämättä keskustelun muuta sisältöä: asentoa, käsivarsien liikkeitä, painotusta tai muita sosiaalisia vihjeitä. Tämän lähestymistavan tavoitteena on palauttaa sanallinen ja sanaton viestintä rinnakkain. 2

Puhuva ja elehtivä avatar voisi esimerkiksi tervehtiä heilauttamalla kättä samalla, kun se sanoo tervehdyksen, nyökätä ilmaistakseen hyväksyntää tai käyttää ylävartalon liikkeitä korostamaan viestiä. Järjestelmä on kuitenkin toistaiseksi tutkimusdemonstraatio, ei kliinisesti saatavilla oleva viestintälaite. 23

Osallistujat ja käytännön rajoitukset

Tutkimuksessa oli mukana kolme henkilöä, joilla oli sekä puhe-elimistön että raajojen halvaus. 2 Käytettävissä olevista aineistoista ei käy ilmi jokaisen osallistujan diagnoosi, halvaantumisen syy tai täydellinen tehtäväluettelo. Ne tukevat ainoastaan sitä, että osallistujat yrittivät puhua ja tehdä ylävartalon eleitä järjestelmän dekoodatessa molempia. 3

Nykyinen järjestelmä on johdollinen: aivokuorella oleva elektrodiverkko on fyysisesti kytketty ulkoisiin tallennus- ja laskentalaitteisiin. Tämä rajoittaa laitteen itsenäistä jokapäiväistä käyttöä. Tutkijoiden kehityssuuntana on täysin implantoitava langaton järjestelmä, joka poistaisi ihon läpi kulkevan kaapelin. Saatavilla olevissa otteissa ei kuitenkaan ole aikataulua, laitevalmistajaa tai tietoa mahdollisesta viranomaisasemasta.

Jatkoa UCSF:n vuoden 2023 puheproteesille

Työ rakentuu Changin tutkimusryhmän vuoden 2023 Nature-julkaisun pohjalle. Siinä 253-kanavaista sensorimotorisen aivokuoren ECoG-verkkoa käytettiin yhden vaikeasti halvaantuneen ja puhekyvyttömän henkilön aiottujen lauseiden dekoodaamiseen sekä avatarin ohjaukseen. 1

Vuoden 2023 järjestelmä painottui puheeseen ja kasvoavatarin animointiin. Uudempi työ laajentaa samaa tiheään aivokuoritallennukseen ja tekoälypohjaiseen dekoodaukseen perustuvaa lähestymistapaa ylävartalon eleiden samanaikaiseen tulkintaan. 12