TikTok, l’esperimento sulla sicurezza che ha lasciato 15 milioni di utenti con il vecchio algoritmo

Secondo un’inchiesta di Bloomberg, TikTok avrebbe condotto un esperimento lasciando circa il 10% dei suoi utenti negli Stati Uniti — all’epoca, quasi 15 milioni di persone — con una versione precedente dell’algoritmo di raccomandazione. L’obiettivo era capire se un aggiornamento pensato per ridurre l’esposizione a contenuti dannosi rendesse l’app meno coinvolgente, o meno “appiccicosa”. 2

La vicenda è diventata particolarmente controversa perché, secondo il reportage, nel gruppo di controllo erano presenti anche minorenni. Tra questi ci sarebbe stato Chase Nasca, sedicenne il cui account avrebbe ricevuto migliaia di video su suicidio, tristezza, disperazione e solitudine. Nasca è morto suicida alcune settimane dopo. Le informazioni disponibili non dimostrano che TikTok abbia causato la sua morte; mostrano però perché la scelta di non applicare una misura di sicurezza sia ora al centro di una disputa sulla responsabilità della piattaforma. 2

Che cosa avrebbe testato TikTok

Nel 2021 TikTok avrebbe modificato il sistema di raccomandazione per ridurre il rischio che gli utenti venissero sommersi da contenuti ripetitivi su temi ad alto rischio. L’intento era interrompere quella che i resoconti descrivono come una spirale di raccomandazioni dannose, o “bolla filtro”: più una persona guarda determinati contenuti, più il feed tende a riproporle materiale dello stesso tipo. 2

L’aggiornamento, però, non sarebbe stato distribuito a tutti. TikTok avrebbe mantenuto un gruppo di controllo pari al 10% degli utenti statunitensi sulla versione precedente dell’algoritmo, per verificare se la protezione riducesse il tempo trascorso sull’app o il livello di coinvolgimento. 2

La questione etica nasce proprio da questa impostazione. In un normale test di prodotto si può sperimentare una funzione estetica o facoltativa. In questo caso, la variabile riguardava una protezione pensata per limitare l’esposizione a contenuti potenzialmente pericolosi. Il punto centrale è quindi capire se una piattaforma possa rimandare l’introduzione di una misura di sicurezza per un gruppo scelto casualmente, quando le possibili conseguenze possono ricadere su utenti già vulnerabili.

Che cosa sarebbe successo agli utenti del gruppo di controllo

Chi era assegnato al vecchio sistema poteva risultare più esposto a raccomandazioni ripetitive su suicidio, autolesionismo, depressione, tristezza, solitudine, disturbi alimentari e temi collegati. Secondo quanto riportato sul caso di Nasca, il suo feed sarebbe rimasto intrappolato in un flusso composto da migliaia di video appartenenti a queste categorie. 2

La conclusione più prudente è che l’esperimento potrebbe aver lasciato alcuni utenti senza una protezione che TikTok aveva sviluppato proprio per ridurre la concentrazione di contenuti dannosi. Le informazioni disponibili, da sole, non provano però che l’algoritmo abbia causato uno specifico peggioramento della salute mentale o una morte. Distinguere tra queste affermazioni è essenziale per valutare correttamente sia il reportage sia la responsabilità dell’azienda.

Perché i senatori hanno definito la scelta “depravata”

Le senatrici e i senatori statunitensi Marsha Blackburn e Richard Blumenthal hanno accusato TikTok di aver consapevolmente negato a milioni di americani — inclusi bambini — una misura di sicurezza algoritmica per verificare se proteggere gli utenti avrebbe ridotto l’engagement. Hanno definito la decisione “depravata” e chiesto alla società una risposta rapida. 1

Le loro preoccupazioni non riguardano soltanto ciò che è accaduto a un singolo account. La lettera punta soprattutto al processo decisionale: chi ha autorizzato il test, quali dipendenti e dirigenti ne erano informati, se fosse stata svolta una valutazione dei rischi e perché i minorenni fossero stati inclusi nel gruppo di controllo. 1

Le 13 domande rivolte a TikTok

La lettera dei due senatori contiene 13 quesiti e chiede, tra le altre cose:

• perché i minori siano stati inclusi in un test che prevedeva di non applicare una funzione di sicurezza;
• quali dipendenti e dirigenti fossero a conoscenza dell’esperimento;
• chi abbia approvato il test e se sia stata completata una valutazione dei rischi;
• quali risultati abbia prodotto l’esperimento in termini di sicurezza ed engagement;
• se TikTok abbia condotto negli Stati Uniti altri test che disattivavano o ritardavano funzioni di sicurezza;
• se l’azienda fornirà il documento interno completo e non oscurato che descriveva il test. 111

I senatori hanno dato a TikTok tempo fino al 1° settembre per rispondere. Le informazioni richieste dovrebbero chiarire sia l’ampiezza dell’esperimento sia il livello di supervisione applicato. Potrebbero inoltre stabilire se si sia trattato di una decisione isolata sul prodotto o di una pratica più ampia riguardante le funzioni di sicurezza. 11

Che cosa non è ancora dimostrato

Dai materiali disponibili non si possono trarre alcune conclusioni definitive. Il reportage non dimostra che TikTok abbia causato il suicidio di Nasca, né indica quanti altri utenti abbiano ricevuto feed analoghi o quale sia stato l’effetto finale misurato sull’engagement.

È documentato, in forma più circoscritta ma comunque significativa, che TikTok avrebbe creato un gruppo di controllo di circa 15 milioni di utenti negli Stati Uniti, mantenendolo su un sistema di raccomandazione precedente e includendo anche minorenni mentre valutava l’impatto di un aggiornamento sulla sicurezza. 2

Al momento del reportage di TechCrunch sulla richiesta dei senatori, TikTok non aveva risposto immediatamente alla richiesta di commento. 15 Le domande rivolte all’azienda riportano così al centro un problema di governance fondamentale per le piattaforme basate sulle raccomandazioni: quando una società dispone di una funzione pensata per ridurre un danno prevedibile, dovrebbe essere l’ottimizzazione dell’engagement a decidere chi può beneficiarne?