UCSF:n aivoimplantti tulkitsi puheen ja eleet yhtä aikaa

Viestintä ei ole pelkkiä sanoja. Nyökkäys, hartioiden kohautus ja eleellä tehty painotus voivat muuttaa sitä, miten viesti ymmärretään. Kalifornian yliopiston San Franciscon kampuksen (UCSF) tutkijat ovat nyt osoittaneet aivo–tietokonerajapinnan, joka pyrkii palauttamaan nämä kaksi viestinnän tasoa yhtä aikaa.

Kolmella osallistujalla, joilla oli ääntöelinten ja raajojen halvaus, järjestelmä tallensi aivotoimintaa heidän yrittäessään puhua ja tehdä ylävartalon eleitä. Koneoppiminen muutti signaalit tekstiksi ja yksilöllisen virtuaaliavatarin puheeksi sekä liikkeiksi lähes reaaliajassa. 17

Näin 253 elektrodin implantti toimi

Järjestelmässä käytettiin tiheää, 253 elektrodin elektrokortikografia- eli ECoG-verkkoa, joka asetettiin leikkauksessa aivokuoren pinnalle. Verkko kattoi laajan alueen sensorimotorista aivokuorta, joka osallistuu sekä puheliikkeisiin että ylävartalon liikkeisiin liittyvään toimintaan. 17

Osallistujat yrittivät puhua ja tehdä eleitä, vaikka halvaus esti heitä toteuttamasta liikkeitä tavanomaisesti. Implantti tallensi tähän yritykseen liittyviä hermosignaaleja. Koneoppimismallit muunsivat ne tekstiksi ja avatarin toiminnoiksi, joten puhe ja liike voitiin tuottaa rinnakkain erillisten ohjaustilojen sijaan. 14

Tutkimuksessa havaittiin signaaleja, jotka liittyivät muun muassa puheen vaatimiin suun ja kasvojen liikkeisiin sekä ylävartalon eleisiin, kuten nyökkäämiseen, hartioiden kohauttamiseen ja nyrkkieleeseen. Kahdella osallistujalla puhetta ja eleitä dekoodattiin rinnakkain avatarin ohjaamiseksi. 7

Miksi puheelle ja eleille tarvittiin omat dekooderit?

Puhe ja eleet ovat yhteydessä toisiinsa, mutta tutkijat eivät käsitelleet niitä yhtenä yleisenä liikeohjeena. He käyttivät tarkoitetulle puheelle ja liikkeille tehtäväkohtaisia dekoodausmenetelmiä.

Tämä oli olennaista, koska samanaikaisen puheen ja eleiden aikana mitatut hermotoiminnan kuviot eivät tutkimuksen mukaan olleet vain puhe- ja elekokeissa erikseen nähtyjen signaalien yhteenlaskettu tulos. Yhdistettyihin viestintätehtäviin harjoitettu järjestelmä pystyi siksi tuottamaan koordinoidun lopputuloksen: avatar saattoi lausua tarkoitetun viestin ja tehdä samanaikaisesti sitä vastaavan ylävartalon eleen. Lähteissä ei kuitenkaan ole riittäviä yksityiskohtia, jotta tämän ei-additiivisen vaikutuksen suuruutta tai dekooderien suoriutumista kaikissa tehtävissä voisi arvioida itsenäisesti. 147

Avatar voi välittää muutakin kuin ruudulle ilmestyvän tekstin

Monissa avustavan viestinnän järjestelmissä käyttäjä valitsee kirjaimia, sanoja tai kuvakkeita yksi kerrallaan. Menetelmä voi olla erittäin hyödyllinen, mutta keskustelu voi olla hidasta ja kuormittavaa, jos jokainen viesti rakennetaan peräkkäisillä valinnoilla.

UCSF:n aiemmassa puhe-neuroproteesitutkimuksessa erään osallistujan käytössä ollut viestintälaite tuotti noin 14 sanaa minuutissa. Kokeellinen järjestelmä tulkitsi tekstiä lähes 80 sanan minuutinopeudella. 28

Uusi järjestelmä pyrkii ratkomaan myös toista puutetta: pelkkä teksti ei välitä kaikkea keskustelun sosiaalista merkitystä. Eleellä voi ilmaista esimerkiksi myöntymistä, tervehdystä, painotusta tai suuntaa puheen rinnalla. Puhuva ja liikkuva avatar on siis tarkoitettu ilmaisukykyisemmäksi viestintäväyläksi – ei vain tekstin näyttämiseksi ruudulla. 134

Keitä tutkimukseen osallistui?

Tutkijat tallensivat aivotoimintaa kolmelta osallistujalta, joilla oli ääntöelinten ja raajojen halvaus. He testasivat puheyrityksiä, ylävartalon liikkeitä ja kahdella osallistujalla samanaikaista puheen ja eleiden dekoodausta. 7

Annetut lähteet eivät kerro luotettavasti osallistujakohtaisia halvauksen syitä eivätkä koko koemenettelyä. Laajempaa kohderyhmää käsittelevissä raporteissa mainitaan esimerkiksi aivohalvaus ja amyotrofinen lateraaliskleroosi (ALS), mutta näiden tietojen perusteella ei voi päätellä yksittäisen osallistujan diagnoosia. 36

Kyse on vasta tutkimusnäytöstä

Laite on edelleen tutkimuskäytössä oleva aivo–tietokonerajapinta, ei kuluttajatuote tai tavanomaiseen hoitokäyttöön hyväksytty laite. Nykyinen toteutus on langallinen: aivokuoren elektrodiverkko yhdistyy ulkoisiin tallennus- ja laskentalaitteisiin fyysisellä johdolla. Tämä rajoittaa itsenäistä jokapäiväistä käyttöä.

Tutkimusryhmän tavoitteena on täysin implantoitava langaton versio, joka poistaisi ihon läpi kulkevan kaapelin. Annettu näyttö ei kuitenkaan kerro aikataulua, valmistajaa tai viranomaishyväksyntää. Siksi järjestelmää ei voi vielä pitää saatavilla olevana lääkinnällisenä tuotteena.

Jatkoa vuoden 2023 puheavatarille

Uusi tutkimus rakentuu UCSF:n johtaman, vuonna 2023 Nature-lehdessä julkaistun työn pohjalle. Siinä henkilö, jolla oli vaikea halvaus ja puhekyvyttömyys, käytti 253-kanavaista tiheää ECoG-verkkoa tarkoitettujen lauseiden tulkitsemiseen tekstiksi, synteettiseksi puheeksi ja kasvoavatarin animaatioksi. 33

Aiempi järjestelmä keskittyi puheeseen ja kasvojen tuottamaan ilmaisuun. Uusi työ laajentaa samaa perusajatusta – aivokuoren pinnalta tehtävää mittausta ja tekoälypohjaista tulkintaa – samanaikaiseen ylävartalon eleillä viestimiseen. Se on merkittävä askel kohti neuroproteeseja, jotka voisivat palauttaa keskusteluun sekä sanallisen että sanattoman ilmaisun, mutta käytännön hoitokäyttö vaatii vielä paljon lisätutkimusta. 12434