Yksi aivoimplantti tulkitsi puheyrityksiä ja eleitä samanaikaisesti

Puhe ei ole pelkkiä sanoja. Tervehdys voi olla yhtä aikaa “hei” ja käden heilautus, myöntymistä voi ilmaista nyökkäyksellä ja painotusta asennolla tai liikkeellä. Kalifornian yliopiston San Franciscon kampuksen (UCSF) neurokirurgi Edward Changin ryhmä osoitti, että yksi tiheästi elektrodoitu aivokuori-implantti voi tulkita tällaisia samanaikaisia puhe- ja eleyrityksiä.

Tutkimus on tärkeä tekninen osoitus mahdollisuudesta, ei vielä kliiniseen jokapäiväiseen käyttöön valmis järjestelmä. 37

Näin järjestelmä toimi

Kolmelle osallistujalle, joilla oli vaikea ääntöelimistön ja raajojen halvaus muun muassa ALS-taudin tai aivorungon aivohalvauksen vuoksi, asetettiin sensorimotorisen aivokuoren päälle 253 elektrodin ECoG-ryhmä. ECoG eli elektrokortikografia mittaa aivojen sähköistä toimintaa suoraan aivokuoren pinnalta.

Osallistujat yrittivät tuottaa puhuttuja ilmauksia, eleitä – kuten käden heilautuksen ja peukalon noston – tai näitä yhtä aikaa. Koneoppimismallit opetettiin yhdistämään mitattu aivotoiminta puhe- ja elelähdöiksi. 37

Samanaikainen viestintä tuotti omanlaisensa aivosignaalin

Puheeseen ja ylävartalon eleisiin liittyvät aivokuoren toimintamallit olivat toisistaan erotettavia, mutta samalla keskenään koordinoituja. Olennaista oli, ettei samanaikainen puhe ja ele ollut vain puheyrityksen sekä eleyrityksen signaalien yhteenlasku: yhdistetty viestintä tuotti omaleimaisia toimintamalleja.

Siksi järjestelmän piti oppia puheen ja liikkeen yhteinen tapahtuma, eikä niitä voinut käsitellä täysin riippumattomina kanavina. 37

Yhteisellä aineistolla koulutettu malli pärjäsi paremmin

Mallit, jotka koulutettiin tilanteilla, joissa osallistuja yritti puhua ja elehtiä yhtä aikaa, dekoodasivat nämä samanaikaiset toiminnot paremmin kuin mallit, jotka olivat nähneet harjoittelussa vain puhetta tai vain liikettä erikseen.

Kahdella osallistujalla reaaliaikainen järjestelmä ohjasi koko kehon virtuaalihahmoa siten, että synteettinen puhe ja ylävartalon liikkeet toteutuivat rinnakkain. Avatar saattoi siis esimerkiksi puhua samalla kun se elehti. 37

Miksi tällä voisi olla väliä arjen keskusteluissa?

Katseohjattavissa kirjoitusjärjestelmissä käyttäjä valitsee yleensä merkkejä tai valikkovaihtoehtoja yksi kerrallaan. Se voi olla hidasta ja kuormittavaa. Luontevaan keskusteluun taas kuuluu sanojen lisäksi rytmiä, painotuksia, osoittamista, tervehtimistä, myöntymistä ja muuta sanatonta viestintää.

Jos puheeseen voitaisiin palauttaa myös tällaisia eleitä, kommunikointi voisi olla nopeampaa, vähemmän työlästä ja sosiaalisesti ilmeikkäämpää kuin pelkkä tekstin valitseminen. Tutkimus ei kuitenkaan vielä osoita, että ratkaisu parantaisi elämänlaatua pitkäaikaisessa arkikäytössä. Se osoittaa ennen kaikkea teknisen toteutettavuuden. 37

Tavoitteena enemmän kuin sanojen palauttaminen

Tulokset viittaavat siihen, että viestintäneuroproteesi voisi tulevaisuudessa välittää sanojen ohella esimerkiksi hyväksyntää, painotusta, tervehdystä, tunnepitoista kehonkieltä ja keskusteluvuorojen hallintaa ihmisille, jotka eivät pysty puhumaan tai liikkumaan.

Samalla työ tukee laajempaa periaatetta: yhdellä aivokuoren käyttöliittymällä voidaan mahdollisesti tulkita useita toisiinsa liittyviä viestinnän muotoja. 37

Seuraava askel on langaton implantti

Nyt esitelty tutkimusjärjestelmä oli johdollinen. Ryhmän tavoitteena on täysin implantoitava langaton versio, joka poistaisi ulkoisen kaapelin ja voisi siten tehdä pitkäaikaisesta päivittäiskäytöstä käytännöllisempää.

Työ rakentuu ryhmän vuonna 2023 Nature-lehdessä esittelemälle tutkimukselle. Siinä aivorungon aivohalvauksen vuoksi halvaantunut osallistuja käytti aivokuoren signaaleja tekstin, synteettisen puheen ja kasvonilmeitä tuottavan avatarin luomiseen. 14