Wie die Videos die Moderation umgehen

Die Videos verwenden einen „niedlichen“ und „Pixar-artigen“ visuellen Stil, der extremistische Inhalte tarnt und es ihnen erlaubt, die Moderationsrichtlinien von TikTok zu umgehen, die extreme Gewalt streng verbieten . Da die Figuren anthropomorphe Früchte und Gemüse und keine Menschen sind, werden sie von den automatischen Erkennungssystemen für reale Gewalt nicht erfasst .

Verweise auf extremistische Ideologien

Der GNET-Bericht identifiziert explizite Verbindungen zu mehreren extremistischen Bewegungen in diesen Clips :

• Islamischer Staat (IS) – einige Clips vermitteln IS-freundliche Botschaften.
• Rechtsextremer „Accelerationismus“ – eine neonazistische/weiß-nationalistische Ideologie, die den Zusammenbruch der Gesellschaft beschleunigen will.
• Nihilistischer Gewaltextremismus – eine breitere Subkultur, die Gewalt um ihrer selbst willen feiert.
• Einige Videos verweisen auch auf bestimmte kriminelle Gruppen durch Symbole oder erzählerische Hinweise .

Der „Brain-Rot“-Trend

Die gewalttätigen Videos sind Teil eines breiteren Aufkommens von „Brain-Rot“-Clips – ein Begriff, der die psychologischen und kulturellen Auswirkungen des ständigen Konsums schneller, fragmentierter und überstimulierender Medien beschreibt . Diese Clips beginnen oft als melodramatische Geschichten über Romanzen, Betrug und Skandale mit anthropomorphen Lebensmitteln und steigern sich dann zu expliziter grafischer Gewalt mit „extremen Verstümmelungen, Folter und hyperrealistischer Gewalt“ . Das Genre wird auch als „KI-Schrott“ bezeichnet – massenhaft produzierte Inhalte von geringer Qualität, die darauf abzielen, Klicks, Aufrufe und algorithmisches Engagement mit minimalem menschlichen Einsatz zu maximieren .

Allgemeine Radikalisierungsrisiken

Der Bericht stellt fest, dass das „Radikalisierungspotenzial“ nicht nur in der ideologischen Botschaft liegt, sondern in „der Normalisierung von Grausamkeit, emotionaler Abstumpfung und algorithmisch verstärkter Schockkultur“ . Der Übergang von harmlosem surrealem Humor zu grafischer KI-Gewalt spiegelt eine „allmähliche Erosion emotionaler Grenzen durch ständige Exposition gegenüber zunehmend gewalttätigen und entmenschlichenden Bildern“ wider . Die wiederholte Exposition verstärkt „eine Faszination für Gewalt um der Gewalt willen“, was der Bericht als eine Online-„Ode an die Gewalt“ bezeichnet, die bei jungen Nutzern sukzessive an Boden gewinnt .

Da die Inhalte kostengünstig und einfach in großem Maßstab zu produzieren sind, können einzelne Ersteller Plattformen mit Hunderten von Videos überfluten und so die Reichweite gewalttätiger Themen verstärken . GNET kommt zu dem Schluss, dass diese Clips einen neuen Vektor für Online-Radikalisierung darstellen – einen, der absurde, KI-generierte Formate ausnutzt, um extreme Gewalt bei Kindern und Jugendlichen zu normalisieren, während sie für aktuelle Moderationssysteme weitgehend unsichtbar bleiben .

Wie die Videos die Moderation umgehen

Die Videos verwenden einen „niedlichen“ und „Pixar-artigen“ visuellen Stil, der extremistische Inhalte tarnt und es ihnen erlaubt, die Moderationsrichtlinien von TikTok zu umgehen, die extreme Gewalt streng verbieten . Da die Figuren anthropomorphe Früchte und Gemüse und keine Menschen sind, werden sie von den automatischen Erkennungssystemen für reale Gewalt nicht erfasst .

Verweise auf extremistische Ideologien

Der GNET-Bericht identifiziert explizite Verbindungen zu mehreren extremistischen Bewegungen in diesen Clips :

• Islamischer Staat (IS) – einige Clips vermitteln IS-freundliche Botschaften.
• Rechtsextremer „Accelerationismus“ – eine neonazistische/weiß-nationalistische Ideologie, die den Zusammenbruch der Gesellschaft beschleunigen will.
• Nihilistischer Gewaltextremismus – eine breitere Subkultur, die Gewalt um ihrer selbst willen feiert.
• Einige Videos verweisen auch auf bestimmte kriminelle Gruppen durch Symbole oder erzählerische Hinweise .

Der „Brain-Rot“-Trend

Die gewalttätigen Videos sind Teil eines breiteren Aufkommens von „Brain-Rot“-Clips – ein Begriff, der die psychologischen und kulturellen Auswirkungen des ständigen Konsums schneller, fragmentierter und überstimulierender Medien beschreibt . Diese Clips beginnen oft als melodramatische Geschichten über Romanzen, Betrug und Skandale mit anthropomorphen Lebensmitteln und steigern sich dann zu expliziter grafischer Gewalt mit „extremen Verstümmelungen, Folter und hyperrealistischer Gewalt“ . Das Genre wird auch als „KI-Schrott“ bezeichnet – massenhaft produzierte Inhalte von geringer Qualität, die darauf abzielen, Klicks, Aufrufe und algorithmisches Engagement mit minimalem menschlichen Einsatz zu maximieren .

Allgemeine Radikalisierungsrisiken

Der Bericht stellt fest, dass das „Radikalisierungspotenzial“ nicht nur in der ideologischen Botschaft liegt, sondern in „der Normalisierung von Grausamkeit, emotionaler Abstumpfung und algorithmisch verstärkter Schockkultur“ . Der Übergang von harmlosem surrealem Humor zu grafischer KI-Gewalt spiegelt eine „allmähliche Erosion emotionaler Grenzen durch ständige Exposition gegenüber zunehmend gewalttätigen und entmenschlichenden Bildern“ wider . Die wiederholte Exposition verstärkt „eine Faszination für Gewalt um der Gewalt willen“, was der Bericht als eine Online-„Ode an die Gewalt“ bezeichnet, die bei jungen Nutzern sukzessive an Boden gewinnt .

Da die Inhalte kostengünstig und einfach in großem Maßstab zu produzieren sind, können einzelne Ersteller Plattformen mit Hunderten von Videos überfluten und so die Reichweite gewalttätiger Themen verstärken . GNET kommt zu dem Schluss, dass diese Clips einen neuen Vektor für Online-Radikalisierung darstellen – einen, der absurde, KI-generierte Formate ausnutzt, um extreme Gewalt bei Kindern und Jugendlichen zu normalisieren, während sie für aktuelle Moderationssysteme weitgehend unsichtbar bleiben .