TikToks säkerhetstest satte engagemang före skydd

Bloomberg rapporterade att TikTok genomförde ett experiment där omkring tio procent av användarna i USA – ungefär 15 miljoner personer vid den tiden – fick fortsätta använda en äldre version av rekommendationsalgoritmen. Företaget ville undersöka om en säkerhetsuppdatering, utformad för att minska kluster av skadligt innehåll, skulle göra appen mindre engagerande eller mindre ”klistrig”. 2

Uppgifterna har väckt särskild kritik eftersom kontrollgruppen enligt rapporteringen även omfattade minderåriga. En av användarna var Chase Nasca, 16 år. Hans konto fick senare tusentals videor om självmord, sorg, hopplöshet och ensamhet, enligt rapporteringen. Nasca dog genom självmord några veckor senare. Det tillgängliga materialet fastslår inte att TikTok orsakade hans död. Däremot visar det varför beslutet att undanhålla en säkerhetsåtgärd har blivit kärnan i en större diskussion om plattformens ansvar. 2

Vad TikTok uppges ha testat

TikTok hade ändrat sitt rekommendationssystem för att minska risken att användare överväldigades av upprepade inlägg om ämnen förknippade med hög risk. Tanken var att bryta en skadlig rekommendationsspiral – eller algoritmisk filterbubbla – i stället för att låta flödet fortsätta förstärka samma plågsamma teman. 2

Men uppdateringen rullades enligt rapporteringen inte ut till alla. TikTok behöll i stället en kontrollgrupp på tio procent av de amerikanska användarna på den tidigare algoritmen. Affärsfrågan var om den säkrare versionen skulle minska användarnas engagemang. 2

Det är just den utformningen som gör testet kontroversiellt. I ett vanligt produkttest kan den variabel som prövas vara kosmetisk eller frivillig. Här handlade det om ett skydd som skulle begränsa exponeringen för potentiellt skadligt innehåll. Den centrala etiska frågan blir därför om en plattform ska få fördröja en sådan säkerhetsåtgärd för en slumpmässigt utvald grupp när konsekvenserna kan drabba redan sårbara användare.

Vad kontrollgruppen kan ha utsatts för

Användare som tilldelades det äldre systemet kunde vara mer exponerade för upprepade rekommendationer om självmord, självskada, depression, sorg, ensamhet, ätstörningar och närliggande ämnen. Enligt rapporteringen om Nascas konto fastnade det i ett flöde med tusentals videor i dessa kategorier. 2

Den försiktiga slutsatsen är att experimentet kan ha lämnat vissa användare utan det skydd TikTok hade utvecklat för att minska ansamlingar av skadligt innehåll. Materialet bevisar inte i sig att algoritmen orsakade ett visst psykiskt mående eller ett dödsfall. Den skillnaden är viktig när både rapporteringen och företagets ansvar ska bedömas.

Därför kallar senatorerna beslutet ”förkastligt”

De amerikanska senatorerna Marsha Blackburn och Richard Blumenthal säger att TikTok medvetet undanhöll en algoritmisk säkerhetsåtgärd från miljontals amerikaner – däribland barn – för att ta reda på om skyddet påverkade engagemanget. De beskrev beslutet som ”förkastligt” och krävde en snabb förklaring från företaget. 1

Kritiken gäller inte bara vad som hände med ett enskilt konto. Senatorerna vill granska beslutsprocessen bakom testet: vem som godkände det, vilka anställda och chefer som kände till det, om TikTok genomförde en riskbedömning och varför minderåriga fick ingå i kontrollgruppen. 1

13 frågor som TikTok måste besvara

I brevet till företaget ställer senatorerna 13 frågor. Bland annat vill de veta:

• Varför barn inkluderades i ett test där en säkerhetsfunktion undanhölls.
• Vilka anställda och chefer som kände till experimentet.
• Vem som godkände testet och om en riskbedömning genomfördes.
• Vad experimentet visade om säkerhet och användarengagemang.
• Om TikTok genomförde andra tester i USA där säkerhetsfunktioner stängdes av eller fördröjdes.
• Om företaget kommer att lämna ut den fullständiga, oredigerade interna handling som beskriver testet. 111

Senatorerna har gett TikTok till den 1 september att svara. 11 Svaren kan visa både hur omfattande experimentet var och vilken tillsyn som fanns. De kan också klargöra om testet var ett enstaka produktbeslut eller del av en bredare praxis kring säkerhetsfunktioner.

Vad som fortfarande inte är bevisat

Det går inte att dra alla slutsatser från det tillgängliga materialet. Rapporteringen fastslår inte att TikTok orsakade Nascas självmord. Den visar inte heller hur många andra användare som fick liknande flöden eller exakt vilken slutlig effekt experimentet hade på engagemanget.

Det som däremot är dokumenterat i den rapportering som ligger till grund för uppgifterna är mer avgränsat, men fortfarande allvarligt: TikTok uppges ha skapat en kontrollgrupp på omkring 15 miljoner användare i USA, låtit gruppen använda ett äldre rekommendationssystem och inkluderat minderåriga när företaget utvärderade om en säkerhetsförändring påverkade engagemanget. 2

När TechCrunch rapporterade om senatorernas krav hade TikTok ännu inte omedelbart svarat på tidningens förfrågan om en kommentar. 15 Frågan som återstår handlar därför om grundläggande styrning av rekommendationsplattformar: när ett företag har en funktion som ska minska en förutsebar risk, bör då ett engagemangstest få avgöra vilka användare som får ta del av skyddet?