TikTok satte angiveligt engagement over en vigtig sikkerhedsforanstaltning

Bloomberg har rapporteret, at TikTok gennemførte et forsøg, hvor omkring 10 procent af de amerikanske brugere – på daværende tidspunkt cirka 15 millioner mennesker – blev på en ældre version af anbefalingsalgoritmen. Formålet var at undersøge, om en sikkerhedsopdatering, der skulle mindske klynger af skadeligt indhold, ville gøre appen mindre engagerende eller mindre "sticky". 2

Sagen har vakt opsigt, fordi kontrolgruppen angiveligt også omfattede mindreårige. En af brugerne var Chase Nasca, som var 16 år. Ifølge rapporteringen modtog hans konto senere tusindvis af videoer om selvmord, tristhed, håbløshed og ensomhed. Nasca døde ved selvmord få uger senere. Den tilgængelige rapportering fastslår ikke, at TikTok forårsagede hans død. Den viser derimod, hvorfor beslutningen om at tilbageholde en sikkerhedsforanstaltning er blevet centrum for en strid om ansvar og tilsyn. 2

Hvad testede TikTok?

TikTok havde ændret sit anbefalingssystem for at mindske risikoen for, at brugere blev oversvømmet af gentagne videoer om emner med høj risiko. Målet var at bryde det, der i rapporteringen beskrives som en skadelig anbefalingsspiral eller filterboble, i stedet for at lade brugerens feed fortsætte med at forstærke de samme belastende temaer. 2

Selskabet rullede imidlertid ikke ændringen ud til alle. I stedet lod TikTok angiveligt en kontrolgruppe på 10 procent af de amerikanske brugere fortsætte med den tidligere algoritme. Det forretningsmæssige spørgsmål var, om den sikrere version ville få brugerne til at engagere sig mindre i appen. 2

Det er afgørende for vurderingen af forsøget. I en almindelig produkttest kan den funktion, man holder tilbage, være kosmetisk eller valgfri. Her var den omstridte forskel en beskyttelse, der skulle begrænse eksponeringen for potentielt skadeligt indhold. Det centrale etiske spørgsmål er derfor, om en platform bør kunne udsætte en sådan sikkerhedsforanstaltning for en tilfældigt udvalgt gruppe, når den mulige skade kan ramme brugere, der allerede er sårbare.

Hvad kunne brugerne i kontrolgruppen opleve?

Brugere, der var placeret i den ældre version af systemet, kunne være mere udsatte for gentagne anbefalinger om selvmord, selvskade, depression, tristhed, ensomhed, spiseforstyrrelser og beslægtede emner. Ifølge rapporteringen om Nascas konto blev hans feed fanget i tusindvis af videoer i disse kategorier. 2

Det er vigtigt at holde konklusionen præcis: Forsøget kan have efterladt nogle brugere uden den beskyttelse, TikTok havde udviklet for at begrænse ophobningen af skadeligt indhold. Det beviser ikke i sig selv, at algoritmen forårsagede et bestemt psykisk helbredsudfald eller et dødsfald. Den forskel er afgørende, når både rapporteringen og selskabets ansvar skal vurderes.

Hvorfor kalder senatorer beslutningen "fordærvet"?

De amerikanske senatorer Marsha Blackburn og Richard Blumenthal siger, at TikTok bevidst tilbageholdt en algoritmisk sikkerhedsforanstaltning fra millioner af amerikanere – herunder børn – for at undersøge, om beskyttelsen påvirkede brugernes engagement. De har kaldt beslutningen "fordærvet" og krævet en hurtig forklaring fra selskabet. 1

Senatorernes bekymring handler ikke kun om, hvad der skete på én konto. Deres spørgsmål retter sig mod beslutningsprocessen bag forsøget: Hvem godkendte det? Hvilke medarbejdere og ledere kendte til det? Gennemførte TikTok en risikovurdering? Og hvorfor blev mindreårige inkluderet i kontrolgruppen? 1

Det skal TikTok forklare

Brevet til TikTok indeholder 13 spørgsmål. Blandt de emner, senatorerne rejser, er:

• Hvorfor børn blev inkluderet i et forsøg, hvor en sikkerhedsfunktion blev tilbageholdt.
• Hvilke medarbejdere og ledere der kendte til forsøget.
• Hvem der godkendte forsøget, og om der blev gennemført en risikovurdering.
• Hvad forsøget viste om sikkerhed og brugerengagement.
• Om TikTok gennemførte andre forsøg i USA, hvor sikkerhedsfunktioner blev slået fra eller forsinket.
• Om selskabet vil udlevere det komplette, uredigerede interne dokument, der beskriver forsøget. 111

Senatorerne har bedt TikTok svare senest 1. september. 11 Svarene skal blandt andet vise, hvor omfattende forsøget var, og hvor meget kontrol der var med det. De kan også afklare, om der var tale om en enkelt produktbeslutning eller om en bredere praksis omkring sikkerhedsrelaterede funktioner.

Hvad er stadig ikke bevist?

Man bør ikke drage større konklusioner, end materialet kan bære. Rapporteringen fastslår ikke, at TikTok forårsagede Nascas selvmord. De tilgængelige kilder viser heller ikke, hvor mange andre brugere der oplevede tilsvarende feeds, eller hvad forsøgets endelige målte effekt på engagement var.

Det, der er dokumenteret i den foreliggende rapportering, er mere afgrænset – men stadig alvorligt: TikTok oprettede angiveligt en kontrolgruppe på omkring 15 millioner amerikanske brugere, lod gruppen blive på et ældre anbefalingssystem og inkluderede mindreårige, mens selskabet undersøgte, om en sikkerhedsændring påvirkede engagementet. 2

På det tidspunkt, hvor TechCrunch rapporterede om senatorernes krav, havde TikTok ikke umiddelbart svaret på mediets henvendelse. 15 Sagen rejser dermed et grundlæggende spørgsmål om styringen af anbefalingsplatforme: Når et selskab har udviklet en funktion, der skal mindske en forudsigelig risiko, bør hensynet til engagement så afgøre, hvem der får adgang til beskyttelsen?