TikTok testte betrokkenheid ten koste van een algoritmische veiligheidsmaatregel

Volgens Bloomberg voerde TikTok een experiment uit waarbij ongeveer 10 procent van zijn Amerikaanse gebruikers — destijds zo’n 15 miljoen mensen — op een oudere versie van het aanbevelingsalgoritme bleef. Het bedrijf wilde nagaan of een veiligheidsupdate die schadelijke inhoudspatronen moest doorbreken, de app minder aantrekkelijk of ‘sticky’ zou maken. 2

De kwestie krijgt extra gewicht omdat er volgens de berichtgeving ook minderjarigen in de controlegroep zaten. Een van hen was de 16-jarige Chase Nasca. Zijn account kreeg later duizenden video’s over zelfdoding, verdriet, hopeloosheid en eenzaamheid, aldus de berichtgeving. Nasca overleed enkele weken later door zelfdoding. De beschikbare bronnen stellen niet vast dat TikTok zijn dood heeft veroorzaakt. Ze maken wel duidelijk waarom het achterhouden van de veiligheidsmaatregel nu centraal staat in een debat over verantwoordelijkheid en toezicht. 2

Welke veiligheidsmaatregel werd getest?

TikTok had zijn aanbevelingssysteem aangepast om te voorkomen dat gebruikers steeds opnieuw vergelijkbare inhoud over risicovolle onderwerpen voorgeschoteld kregen. Het doel was om een schadelijke aanbevelingsspiraal — een soort algoritmische filterbubbel — te doorbreken, in plaats van een feed steeds verder dezelfde verontrustende thema’s te laten versterken. 2

TikTok zou de wijziging niet meteen aan iedereen hebben aangeboden. In plaats daarvan bleef een controlegroep van 10 procent van de Amerikaanse gebruikers op het oude algoritme. De zakelijke vraag achter de test was of de veiligere versie tot minder gebruik en betrokkenheid zou leiden. 2

Dat onderscheid is belangrijk. Bij een gewone producttest gaat het bijvoorbeeld om een optionele of cosmetische functie. In dit geval was de betwiste variabele juist een bescherming die bedoeld was om blootstelling aan mogelijk schadelijke inhoud te beperken. De ethische kernvraag luidt daarom: mag een platform zo’n veiligheidsmaatregel uitstellen voor een willekeurig geselecteerde groep als de mogelijke nadelen juist bij kwetsbare gebruikers terechtkomen?

Wat zagen gebruikers in de controlegroep?

Gebruikers die op het oudere systeem bleven, konden volgens de berichtgeving vaker worden blootgesteld aan herhaalde aanbevelingen over zelfdoding, zelfbeschadiging, depressie, verdriet, eenzaamheid, eetstoornissen en aanverwante onderwerpen. Bij Nasca zou zijn account zijn vastgelopen in een feed met duizenden video’s uit die categorieën. 2

De beschikbare informatie rechtvaardigt een voorzichtige conclusie: het experiment kan ertoe hebben geleid dat sommige gebruikers geen toegang hadden tot een bescherming die TikTok had ontwikkeld om zulke schadelijke inhoudsclusters te verminderen. Dat bewijst op zichzelf niet dat het algoritme een specifieke psychische uitkomst of een overlijden heeft veroorzaakt. Dat onderscheid is essentieel bij de beoordeling van zowel de berichtgeving als de verantwoordelijkheid van het bedrijf.

Waarom noemen senatoren de beslissing ‘verdorven’?

De senatoren Marsha Blackburn en Richard Blumenthal zeggen dat TikTok bewust een algoritmische veiligheidsmaatregel achterhield voor miljoenen Amerikanen — onder wie kinderen — om te bepalen of die bescherming invloed had op de betrokkenheid bij het platform. Zij noemden de beslissing ‘depraved’, oftewel ‘verdorven’, en vroegen het bedrijf om snel uitleg te geven. 1

Hun zorgen gaan verder dan het verloop van één gebruikersaccount. De vragen richten zich vooral op de besluitvorming achter de test: wie gaf toestemming, welke medewerkers en leidinggevenden wisten ervan, is er vooraf een risicoanalyse uitgevoerd en waarom konden minderjarigen deel uitmaken van de controlegroep? 1

Welke antwoorden moet TikTok geven?

De brief van de senatoren bevat 13 vragen. Daarin vragen zij onder meer:

• Waarom kinderen werden opgenomen in een test waarbij een veiligheidsfunctie werd achtergehouden.
• Welke medewerkers en leidinggevenden van het experiment wisten.
• Wie de test goedkeurde en of er een risicoanalyse is uitgevoerd.
• Wat het experiment uitwees over veiligheid en gebruikersbetrokkenheid.
• Of TikTok in de Verenigde Staten andere experimenten uitvoerde waarbij veiligheidsfuncties werden uitgeschakeld of uitgesteld.
• Of het bedrijf het volledige, ongeredigeerde interne document over de test wil verstrekken. 111

De senatoren hebben TikTok tot 1 september de tijd gegeven om te reageren. 11 Hun verzoek moet duidelijk maken hoe groot het experiment was en welk toezicht erop werd gehouden. Ook kan het antwoord uitwijzen of het om een op zichzelf staande productbeslissing ging of om een bredere werkwijze rond veiligheidsfuncties.

Wat is nog niet bewezen?

Op basis van de beschikbare informatie kunnen enkele conclusies niet worden getrokken. De berichtgeving bewijst niet dat TikTok Nasca’s zelfdoding heeft veroorzaakt. Ook blijkt uit de aangeleverde bronnen niet hoeveel andere gebruikers vergelijkbare feeds kregen of wat het uiteindelijke gemeten effect van de test op de betrokkenheid was.

Wat wel in de berichtgeving is vastgelegd, is beperkter maar nog altijd ingrijpend: TikTok zou een controlegroep van ongeveer 15 miljoen Amerikaanse gebruikers hebben ingesteld, die groep op een ouder aanbevelingssysteem hebben gehouden en daar minderjarigen bij hebben betrokken terwijl het bedrijf onderzocht of een veiligheidsaanpassing de betrokkenheid beïnvloedde. 2

Volgens TechCrunch had TikTok ten tijde van dat bericht nog niet direct gereageerd op een verzoek om commentaar. 15 Daarmee komt een fundamentele bestuursvraag voor aanbevelingsplatforms op tafel: als een bedrijf een functie heeft ontwikkeld om voorzienbare schade te beperken, mag het dan eerst via een betrokkenheidstest bepalen wie die bescherming krijgt?