TikTok údajně obětoval bezpečnostní ochranu testování engagementu. Týkalo se i dětí

Podle reportáže agentury Bloomberg TikTok provedl experiment, při němž zhruba 10 % uživatelů ve Spojených státech — v dané době přibližně 15 milionů lidí — ponechal na starší verzi doporučovacího algoritmu. Firma tím údajně zjišťovala, zda bezpečnostní úprava, která měla omezit shlukování škodlivého obsahu, nesníží aktivitu uživatelů neboli takzvanou „přilnavost“ aplikace. 2

Případ vyvolal kritiku především proto, že kontrolní skupina podle dostupných zpráv zahrnovala i nezletilé. Patřil do ní také šestnáctiletý Chase Nasca, jehož účet později podle reportáže dostával tisíce videí o sebevraždě, smutku, beznaději a osamělosti. Nasca o několik týdnů později zemřel sebevraždou. Dostupné zdroje neprokazují, že TikTok jeho smrt způsobil. Ukazují však, proč se rozhodnutí odložit bezpečnostní opatření stalo předmětem sporu o odpovědnost platformy. 2

Co TikTok údajně testoval

TikTok upravil doporučovací systém tak, aby snížil riziko, že uživatele zahltí opakující se obsah o vysoce rizikových tématech. Cílem bylo narušit škodlivou doporučovací spirálu — tedy situaci, kdy algoritmus dál posiluje zájem uživatele o stejná a stále vyhrocenější témata — místo toho, aby jeho kanál neustále nabízel podobně znepokojivá videa. 2

Podle reportáže ale firma změnu nenasadila všem. Přibližně desetinu uživatelů v USA ponechala na předchozím algoritmu jako kontrolní skupinu. Obchodní otázka zněla, zda bezpečnější verze aplikace nesníží engagement, tedy míru používání a interakcí. 2

Na tomto případu záleží, protože nešlo o běžnou kosmetickou úpravu produktu. Spornou proměnnou byla ochrana navržená k omezení vystavení potenciálně škodlivému obsahu. Základní etická otázka proto zní: může platforma takové opatření záměrně odložit u náhodně vybrané skupiny, pokud možné důsledky dopadají i na zranitelné uživatele?

Jak mohl starší algoritmus ovlivnit uživatele

Lidé zařazení do kontrolní skupiny mohli být déle vystaveni opakovaným doporučením týkajícím se sebevraždy, sebepoškozování, deprese, smutku, osamělosti, poruch příjmu potravy a podobných témat. Podle zpráv o účtu Chase Nascy se jeho kanál ocitl v bublině obsahující tisíce videí z těchto kategorií. 2

Z dostupných důkazů lze vyvodit opatrnější závěr: experiment mohl některé uživatele ponechat bez ochrany, kterou TikTok vyvinul právě ke snížení shlukování škodlivého obsahu. Sám o sobě však neprokazuje, že algoritmus způsobil konkrétní zhoršení duševního zdraví nebo něčí smrt. Toto rozlišení je zásadní při hodnocení reportáže i odpovědnosti společnosti.

Proč senátoři rozhodnutí označili za „zvrácené“

Senátoři Marsha Blackburnová a Richard Blumenthal uvedli, že TikTok podle všeho vědomě neposkytl milionům Američanů — včetně dětí — algoritmické bezpečnostní opatření, aby zjistil, zda ochrana uživatelů ovlivní míru jejich používání platformy. Rozhodnutí označili za „zvrácené“ a požádali firmu o rychlé vysvětlení. 1

Jejich kritika se netýká pouze jediného účtu nebo tragického výsledku. Otázky míří na samotný proces schvalování experimentu: kdo ho povolil, kteří zaměstnanci a vedoucí o něm věděli, zda firma předem vyhodnotila rizika a proč do kontrolní skupiny zařadila nezletilé. 1

Na co má TikTok odpovědět

Dopis senátorů obsahuje 13 otázek. Zjišťuje mimo jiné:

• proč byli do testu, v němž byla uživatelům odepřena bezpečnostní funkce, zařazeni děti a další nezletilí;
• kteří zaměstnanci a vedoucí pracovníci o experimentu věděli;
• kdo test schválil a zda před jeho zahájením vzniklo posouzení rizik;
• co experiment ukázal z hlediska bezpečnosti a engagementu;
• zda TikTok v USA prováděl i další experimenty, které bezpečnostní funkce vypínaly nebo odkládaly;
• zda společnost poskytne úplnou a necenzurovanou interní dokumentaci popisující test. 111

Senátoři dali TikToku na odpověď čas do 1. září. 11 Jejich požadavky mají objasnit rozsah experimentu i úroveň dohledu, který nad ním firma uplatňovala. Mohou také ukázat, zda šlo o izolované produktové rozhodnutí, nebo o součást širší praxe týkající se bezpečnostních opatření.

Co zůstává neprokázané

Z dostupných materiálů nelze tvrdit, že TikTok způsobil Nasčovu sebevraždu. Z poskytnutých zdrojů také není jasné, kolik dalších uživatelů dostávalo srovnatelně zaměřený obsah ani jaký byl konečný naměřený dopad experimentu na engagement.

Dokumentovaná část příběhu je užší, ale stále závažná: TikTok měl vytvořit kontrolní skupinu přibližně 15 milionů uživatelů v USA, ponechat ji na starším doporučovacím systému a při vyhodnocování dopadu bezpečnostní změny na používání aplikace do ní zahrnout i nezletilé. 2

V době zprávy TechCrunche TikTok na žádost o komentář bezprostředně nereagoval. 15 Případ tak otevírá základní otázku správy doporučovacích platforem: pokud firma vytvoří funkci, která má omezit předvídatelné riziko, má o tom, kdo tuto ochranu dostane, rozhodovat test sledovanosti?