TikTok testete offenbar Engagement – und ließ Millionen ohne Sicherheitsfunktion

Bloomberg berichtet über ein TikTok-Experiment, bei dem rund 10 Prozent der US-Nutzer – damals etwa 15 Millionen Menschen – weiterhin eine ältere Version des Empfehlungsalgorithmus erhielten. TikTok wollte offenbar prüfen, ob eine Sicherheitsanpassung, die schädliche Inhaltsschleifen eindämmen sollte, die Nutzung der App weniger intensiv oder weniger „sticky“ machen würde. 2

Besonders brisant ist, dass sich in der Kontrollgruppe offenbar auch Minderjährige befanden. Dazu gehörte laut der Berichterstattung der 16-jährige Chase Nasca. Sein Konto soll später Tausende Videos über Suizid, Traurigkeit, Hoffnungslosigkeit und Einsamkeit empfohlen bekommen haben. Nasca starb wenige Wochen später durch Suizid. Die vorliegenden Berichte belegen nicht, dass TikTok seinen Tod verursacht hat. Sie zeigen jedoch, warum das Zurückhalten der Sicherheitsfunktion nun im Mittelpunkt einer Debatte über Verantwortung und Kontrolle steht. 2

Was TikTok offenbar getestet hat

TikTok hatte sein Empfehlungssystem angepasst, um zu verhindern, dass Nutzer wiederholt mit Inhalten zu besonders riskanten Themen konfrontiert werden. Die Änderung sollte eine Art algorithmische Abwärtsspirale unterbrechen: Statt den Feed immer weiter mit ähnlichen belastenden Inhalten anzureichern, sollte das System solche Themencluster abschwächen. 2

Die Änderung wurde dem Bericht zufolge jedoch nicht gleichzeitig für alle ausgerollt. TikTok hielt eine Kontrollgruppe von 10 Prozent der US-Nutzer auf dem bisherigen Algorithmus. Die zentrale Geschäftsfrage lautete offenbar, ob die sicherere Version das Engagement – also etwa die Verweildauer und Bindung an die App – verringern würde. 2

Das ist ethisch relevant, weil es nicht um eine rein optische Produktänderung oder eine freiwillige Zusatzfunktion ging. Getestet wurde offenbar eine Schutzmaßnahme, die die wiederholte Ausspielung potenziell schädlicher Inhalte begrenzen sollte. Damit stellt sich die grundsätzliche Frage: Darf eine Plattform einen solchen Schutz für eine zufällig ausgewählte Nutzergruppe verzögern, wenn diese Menschen möglicherweise besonders verletzlich sind?

Welche Folgen die ältere Version für Nutzer haben konnte

Wer dem älteren System zugeteilt war, konnte stärker wiederholten Empfehlungen zu Suizid, Selbstverletzung, Depression, Traurigkeit, Einsamkeit, Essstörungen und verwandten Themen ausgesetzt sein. Im Fall von Nasca soll sein Feed Tausende Videos aus diesen Kategorien enthalten haben. 2

Eine vorsichtige Schlussfolgerung ist daher: Das Experiment könnte dazu geführt haben, dass einige Nutzer auf eine Schutzmaßnahme verzichten mussten, die TikTok gerade zur Verringerung solcher Inhaltsschleifen entwickelt hatte. Daraus folgt jedoch nicht automatisch, dass der Algorithmus ein bestimmtes psychisches Ergebnis oder einen Todesfall verursacht hat. Diese Unterscheidung ist entscheidend, wenn es um die Bewertung der Berichte und der Verantwortung des Unternehmens geht.

Warum US-Senatoren das Vorgehen als „verwerflich“ bezeichnen

Die Senatoren Marsha Blackburn und Richard Blumenthal erklärten, TikTok habe Millionen US-Amerikanern – darunter Kindern – wissentlich eine algorithmische Sicherheitsmaßnahme vorenthalten, um zu prüfen, ob der Schutz das Engagement beeinflusst. Sie bezeichneten die Entscheidung als „depraved“, also als zutiefst verwerflich, und forderten eine rasche Erklärung des Unternehmens. 1

Im Fokus steht dabei nicht nur der Fall eines einzelnen Kontos. Die Fragen der Senatoren richten sich vor allem auf den Entscheidungsprozess: Wer genehmigte den Test? Welche Mitarbeiter und Führungskräfte wussten davon? Wurde das Risiko bewertet? Und warum durften Minderjährige Teil der Kontrollgruppe sein? 1

13 Fragen und eine Frist bis zum 1. September

Das Schreiben der Senatoren umfasst 13 Fragen. Unter anderem wollen sie wissen:

• Warum Kinder in einen Test einbezogen wurden, bei dem eine Sicherheitsfunktion zurückgehalten wurde.
• Welche Mitarbeiter und Führungskräfte von dem Experiment wussten.
• Wer den Test genehmigte und ob zuvor eine Risikobewertung durchgeführt wurde.
• Welche Ergebnisse der Versuch im Hinblick auf Sicherheit und Engagement brachte.
• Ob TikTok in den USA weitere Experimente durchführte, bei denen Sicherheitsfunktionen deaktiviert oder verzögert wurden.
• Ob das Unternehmen das vollständige, ungeschwärzte interne Dokument zu dem Test herausgeben wird. 111

TikTok soll bis zum 1. September antworten. Die Antworten könnten klären, wie groß der Test tatsächlich war und wie eng er überwacht wurde. Außerdem könnten sie zeigen, ob es sich um eine isolierte Produktentscheidung oder um ein breiteres Vorgehen bei sicherheitsbezogenen Funktionen handelte. 11

Was weiterhin nicht bewiesen ist

Aus dem bisher vorliegenden Material lassen sich einige Schlussfolgerungen nicht ableiten. Die Berichte belegen nicht, dass TikTok Nasca zu seinem Suizid gebracht hat. Ebenso geht aus den bereitgestellten Quellen nicht hervor, wie viele weitere Nutzer vergleichbare Feeds erhielten oder welchen endgültigen messbaren Einfluss das Experiment auf das Engagement hatte.

Dokumentiert ist eine engere, aber dennoch weitreichende Tatsache: TikTok soll eine Kontrollgruppe von rund 15 Millionen US-Nutzern gebildet, sie auf einem älteren Empfehlungssystem belassen und dabei auch Minderjährige einbezogen haben – während das Unternehmen prüfte, ob eine Sicherheitsänderung die Nutzung der Plattform beeinflusst. 2

Zum Zeitpunkt des Berichts von TechCrunch hatte TikTok auf eine Bitte um Stellungnahme zunächst nicht unmittelbar reagiert. 15 Damit geht es letztlich um eine grundlegende Governance-Frage für Empfehlungsplattformen: Wenn ein Unternehmen eine Funktion entwickelt hat, die vorhersehbare Schäden begrenzen soll – darf dann ein Engagement-Test darüber entscheiden, wer diesen Schutz erhält?