TikTokin turvakokeilu nosti käyttäjien turvallisuuden ja sitoutumisen vastakkain

Bloombergin mukaan TikTok toteutti Yhdysvalloissa kokeen, jossa noin kymmenen prosenttia käyttäjistä – tuolloin arviolta 15 miljoonaa ihmistä – jäi käyttämään suositusalgoritmin vanhempaa versiota. Yhtiö selvitti, tekisikö haitallista sisältöä rajoittava turvapäivitys sovelluksesta vähemmän kiinnostavan eli vähentäisikö se käyttäjien sitoutumista. 2

Raportti on herättänyt erityistä huolta, koska verrokkiryhmään kuului tiettävästi myös alaikäisiä. Siihen kuului myös 16-vuotias Chase Nasca, jonka tilille alkoi raportoinnin mukaan tulla tuhansia itsemurhiin, suruun, toivottomuuteen ja yksinäisyyteen liittyviä videoita. Nasca kuoli myöhemmin itsemurhaan. Saatavilla oleva raportointi ei osoita, että TikTok olisi aiheuttanut hänen kuolemansa. Se kuitenkin tekee turvatoimen tietoisesta lykkäämisestä keskeisen kysymyksen yhtiön vastuusta. 2

Mitä TikTokin kerrotaan testanneen?

TikTok oli muuttanut suosittelujärjestelmäänsä vähentääkseen riskiä, että käyttäjä joutuu toistuvasti korkean riskin aiheita käsittelevän sisällön keskelle. Tavoitteena oli katkaista haitallinen suosittelukierre – eräänlainen algoritminen kupla, jossa käyttäjän aiempi kiinnostus saa saman ahdistavan teeman vahvistumaan yhä uudelleen. 2

Päivitystä ei kuitenkaan Bloombergin mukaan otettu käyttöön kaikille. TikTok piti kymmenen prosentin verrokkiryhmän vanhassa järjestelmässä ja selvitti, vaikuttaisiko turvallisempi versio sovelluksen käyttöaktiivisuuteen. 2

Tällä on merkitystä, koska tavallisessa tuotekokeilussa voidaan testata esimerkiksi ulkoasua tai vapaaehtoista ominaisuutta. Tässä kiistanalainen muuttuja oli suoja, jonka tarkoituksena oli vähentää mahdollisesti haitalliselle sisällölle altistumista. Keskeinen eettinen kysymys kuuluu, voiko alusta lykätä tällaisen suojan käyttöönottoa satunnaisesti valitulta käyttäjäryhmältä, jos riskit kohdistuvat jo valmiiksi haavoittuviin käyttäjiin.

Millaiselle sisällölle verrokkiryhmän käyttäjät saattoivat altistua?

Vanhaa järjestelmää käyttäneille saattoi tulla enemmän toistuvia suosituksia, jotka liittyivät itsemurhiin, itsensä vahingoittamiseen, masennukseen, suruun, yksinäisyyteen, syömishäiriöihin ja muihin samankaltaisiin aiheisiin. Nascan tilistä tehdyn raportoinnin mukaan hänen syötteensä ajautui sisältämään tuhansia tällaiseen sisältöön kuuluvia videoita. 2

Varovainen johtopäätös on, että kokeilu saattoi jättää osan käyttäjistä ilman suojaa, jonka TikTok oli kehittänyt haitallisen sisältökeskittymän vähentämiseksi. Se ei yksin todista, että algoritmi aiheutti tietyn mielenterveydellisen seurauksen tai kuoleman. Näiden väitteiden erottaminen toisistaan on olennaista sekä raportointia että yhtiön vastuuta arvioitaessa.

Miksi senaattorit kutsuivat päätöstä ”turmeltuneeksi”?

Yhdysvaltain senaattorit Marsha Blackburn ja Richard Blumenthal sanoivat TikTokin tietoisesti jättäneen algoritmipohjaisen turvatoimen pois miljoonilta amerikkalaisilta – myös lapsilta – selvittääkseen, vaikuttaisiko käyttäjien suojaaminen sovelluksen käyttöön. He kutsuivat päätöstä ”turmeltuneeksi” ja vaativat yhtiöltä nopeaa selvitystä. 1

Senaattoreiden huoli ei koske vain yhden käyttäjätilin kohtaloa. He haluavat tietää, miten kokeilu päätettiin ja valvottiin: kuka antoi sille luvan, ketkä työntekijät ja johtajat tiesivät siitä, tehtiinkö riskiarvio ja miksi alaikäiset saatettiin mukaan verrokkiryhmään. 1

TikTokilta vaaditaan 13 vastausta

Senaattoreiden kirje sisältää 13 kysymystä. Niissä pyydetään selvitystä muun muassa seuraavista asioista:

• Miksi lapset otettiin mukaan kokeeseen, jossa turvaominaisuus jätettiin käyttämättä?
• Ketkä työntekijät ja johtajat tiesivät kokeesta?
• Kuka hyväksyi testin, ja tehtiinkö ennen sitä riskiarvio?
• Mitä kokeessa selvisi turvallisuudesta ja käyttäjien sitoutumisesta?
• Toteuttiko TikTok Yhdysvalloissa muita kokeita, joissa turvaominaisuuksia poistettiin käytöstä tai niiden käyttöönottoa lykättiin?
• Luovuttaako yhtiö kokeesta laaditun sisäisen asiakirjan kokonaisena ja sensuroimattomana? 111

Vastauksilla pyritään selvittämään sekä kokeen laajuus että sen päätöksentekoon liittynyt valvonta. Ne voivat myös osoittaa, oliko kyse yksittäisestä tuoteratkaisusta vai laajemmasta käytännöstä, jossa turvallisuusominaisuuksia testattiin käyttäjiltä pidättämällä.

Mitä asiasta ei vielä tiedetä?

Saatavilla olevan aineiston perusteella ei pidä päätellä, että TikTok aiheutti Nascan itsemurhan. Lähteet eivät myöskään kerro, kuinka moni muu käyttäjä sai vastaavanlaisen syötteen tai mikä kokeen lopullinen mitattu vaikutus käyttäjien sitoutumiseen oli.

Toisaalta raportoinnissa kuvataan selkeästi seuraavat seikat: TikTok loi noin 15 miljoonan yhdysvaltalaiskäyttäjän verrokkiryhmän, piti ryhmän vanhassa suosittelujärjestelmässä ja sisällytti siihen alaikäisiä arvioidessaan, vaikuttaisiko turvapäivitys sovelluksen käyttöön. 2

TechCrunchin senaattoreiden vaatimusta käsitelleen raportin aikaan TikTok ei ollut vielä vastannut kommenttipyyntöön. 15 Tapauksen ydin onkin laajempi kuin yhden sovelluksen yksittäinen koe: jos alustalla on ominaisuus, jonka tarkoitus on vähentää ennakoitavaa haittaa, pitäisikö käyttäjien suojan jakautumisen perustua sitoutumisen testaamiseen?