El peligro oculto de los videos virales de frutas generadas por IA en TikTok

Los videos utilizan un estilo visual "lindo" y "similar a Pixar" que disfraza el contenido extremista, permitiéndole eludir las políticas de moderación de TikTok, que prohíben estrictamente el contenido violento extremo . Debido a que los personajes son frutas y verduras antropomórficas en lugar de humanos, el contenido no activa los mismos sistemas de detección automatizada utilizados para la violencia en el mundo real .

Ideologías extremistas referenciadas

El informe de GNET identifica vínculos explícitos con varios movimientos extremistas dentro de estos clips :

• Estado Islámico (EI) — algunos clips transmiten mensajes a favor del EI.
• "Aceleracionismo" de extrema derecha — una ideología neonazi/supremacista blanca que busca acelerar el colapso social.
• Extremismo de violencia nihilista — una subcultura más amplia que celebra la violencia por sí misma.
• Algunos videos también hacen referencia a grupos criminales específicos a través de símbolos o señales narrativas .

La tendencia de contenido 'podredumbre cerebral'

Los videos violentos son parte de un aumento más amplio de los clips de "podredumbre cerebral" ("brain rot"), un término que describe los efectos psicológicos y culturales de consumir constantemente medios rápidos, fragmentados y sobreestimulantes . Estos clips a menudo comienzan con narrativas melodramáticas de romance, traición y escándalo protagonizadas por alimentos antropomórficos, y luego escalan a violencia gráfica explícita que incluye "mutilación extrema, tortura y violencia hiperrealista" . El género también se describe como "IA basura" ("AI slop"): contenido de baja calidad y producido en masa diseñado para maximizar clics, vistas y participación algorítmica con un mínimo aporte humano .

Riesgos de radicalización más amplios

El informe señala que el "potencial de radicalización" no reside únicamente en el mensaje ideológico, sino en "la normalización de la crueldad, el entumecimiento emocional y la cultura del shock amplificada algorítmicamente" . La transición del humor surrealista inofensivo a la violencia gráfica generada por IA refleja una "erosión gradual de los límites emocionales mediante la exposición constante a imágenes cada vez más violentas y deshumanizantes" . La exposición repetida refuerza "una fascinación por la violencia por la violencia misma", que el informe denomina una "oda a la violencia" en línea que gana terreno progresivamente entre los jóvenes usuarios .

Debido a que el contenido es barato y fácil de producir a gran escala, los creadores individuales pueden inundar las plataformas con cientos de videos, amplificando el alcance de los temas violentos . GNET concluye que estos clips representan un nuevo vector para la radicalización en línea, uno que explota formatos absurdos generados por IA mientras permanece en gran medida invisible para los sistemas actuales de moderación de contenido .