En muchos países, lo anterior sería motivo de investigación si se tratara de niños reales y no de amalgamas digitales. Pero la legislación sobre contenidos fetichistas generados por inteligencia artificial en los que intervienen menores sigue siendo confusa. Los nuevos datos de 2025 de la Internet Watch Foundation (IWF) del Reino Unido señalan que las denuncias de material de abuso sexual infantil generado por IA, o CSAM, se han duplicado en el lapso de un año, pasando de 199 entre enero y octubre de 2024 a 426 en el mismo período de 2025. El 56% de este contenido pertenece a la categoría A, la más grave del Reino Unido, que incluye actividad sexual con penetración, actividad sexual con un animal o sadismo. El 94% de las imágenes ilegales de IA rastreadas por IWF eran de niñas (Sora no parece estar generando ningún contenido de Categoría A).
"A menudo vemos cómo se mercantiliza la imagen de niños reales para crear desnudos o imágenes sexuales y, sobre todo, vemos cómo se utiliza la IA para crear imágenes de niñas. Es otra forma de atacar a las niñas en internet", explica a WIRED Kerry Smith, directora ejecutiva de la IWF.
Esta afluencia de material nocivo generado por IA ha incitado al Reino Unido a introducir una nueva enmienda en su Proyecto de Ley sobre Delincuencia y Policía, que permitirá a "probadores autorizados" comprobar que las herramientas de inteligencia artificial no son capaces de generar CSAM. Tal y como ha informado la BBC, esta enmienda garantizaría que los modelos dispongan de salvaguardas en torno a imágenes específicas, incluidas la pornografía extrema y las imágenes íntimas no consentidas en particular. En EE UU, 45 estados han aplicado leyes para penalizar el CSAM generado por IA, la mayoría en los últimos dos años, a medida que los generadores de IA siguen evolucionando.
Barreras que no funcionan
OpenAI, creadora de Sora 2, ha puesto en marcha medidas que impiden que los jóvenes vean sus caras en deepfakes pornográficos. La función de la aplicación por la que los usuarios graban su imagen para incrustarla en los videos generados (antes llamada Cameo, pero ahora rebautizada temporalmente) funciona con consentimiento y puede revocarse en cualquier momento. También hay una norma que garantiza que los perfiles de adultos no puedan enviar mensajes a adolescentes. La aplicación prohíbe rotundamente el CSAM, y las políticas de OpenAI establecen que sus plataformas "nunca deben utilizarse para explotar, poner en peligro o sexualizar a menores de 18 años", y OpenAI informa al Centro Nacional para Menores Desaparecidos y Explotados de cualquier material de abuso sexual infantil o que ponga en peligro a menores.
Pero, ¿qué ocurre en el caso de algo como los juguetes rosa? Estos videos son lo bastante llamativos en su señalización para que los comentaristas de TikTok, los YouTubers y los creadores de contenidos inviten a un debate serio sobre sus peligros, y sin embargo los creadores parecen ser capaces de hacerlos eludiendo las barreras de OpenAI. Aunque no se trata de pornografía hardcore ni de deepfakes dirigidos a niños reales, cuando se suben junto con declaraciones destacadas, muestran una aparente intención de ‘cultivar’ para los depredadores.
la atención sobre un video, esta vez realizado con Veo, en el que un entrenador inspecciona a un equipo de chicos con sobrepeso en un vestuario, tocándoles el estómago y elogiándoles por su aumento de peso. Aunque el contenido no es explícitamente pornográfico, en su opinión, su intención queda clara al ver la sección de comentarios del video, donde varias cuentas habían compartido peticiones para que la gente les agregara a Telegram, que según las fuerzas de seguridad es un centro de redes de pedofilia. WIRED descubrió que la cuenta seguía activa en el momento de la grabación, al tiempo que encontró videos similares protagonizados por chicos jóvenes con sobrepeso que parecían dirigirse sutilmente a un público depredador, todo ello sin ser marcados por violar las políticas de TikTok.Un portavoz de Google señaló a WIRED que la empresa tiene políticas claras en torno a la generación de IA de menores. En cuanto a los videos de los jóvenes con sobrepeso, el portavoz destacó que lo preocupante son los comentarios y la intención de publicar los videos en otras plataformas.
gran parte del funcionamiento de CSAM) lo que aplicaciones como Sora 2 son incapaces de vigilar en última instancia.Mike Stabile, director de políticas públicas de la organización sin fines de lucro Free Speech Coalition, tiene más de 20 años de experiencia en la industria para adultos y entiende cómo funcionan y moderan los contenidos los sitios para adultos. Cree que OpenAI y empresas similares deben aplicar un nivel similar de matiz en sus prácticas de moderación para garantizar plenamente que los contenidos CSAM y fetichistas con niños no lleguen a la plataforma. Esto podría implicar la prohibición o limitación de ciertas palabras que podrían asociarse a contenidos fetichistas, y la mejora de los equipos de moderación con más diversidad y formación.
“Ya vemos esta lucha con plataformas como Facebook. ¿Cómo diferencian entre un padre que comparte una foto de su hijo jugando en la piscina o en la bañera, frente a alguien que está compartiendo algo que pretende ser material de abuso sexual infantil?”, manifestó Stabile a WIRED.
"Siempre que se trate de fetichismo, habrá cosas que la gente que no esté familiarizada pasará por alto", asegura.
Tras la petición de comentarios de WIRED, OpenAI declaró que había bloqueado varias cuentas que estaban creando videos como el de los juguetes de rosa. Niko Felix, portavoz de OpenAI, refirió a WIRED: "OpenAI prohíbe estrictamente cualquier uso de nuestros modelos para crear o distribuir contenidos que exploten o dañen a los niños. Diseñamos nuestros sistemas para rechazar estas solicitudes, buscamos intentos de eludir nuestras políticas y tomamos medidas cuando se producen infracciones."
WIRED también se puso en contacto con TikTok sobre la afluencia de material fetichista hecho usando Sora 2 que llega a la plataforma, marcando más de 30 casos de anuncios de juguetes inapropiados, inflación y contenido fetichista de obesidad. Muchos de ellos, incluidos los anuncios de juguetes de rosas, se han retirado, pero otros, incluidos otros anuncios de juguetes falsos y la figurita del Increíble Goteante, siguen en línea en el momento de informar.
Un portavoz de TikTok anunció: "Hemos eliminado videos y baneado cuentas que subían contenidos creados en otras plataformas de IA que violaban las estrictas políticas de seguridad de menores de TikTok".
Del mismo modo, IWF insta a las plataformas a considerar estas barreras en su diseño inicial y ponerlas a la vanguardia de sus prioridades: evitar que se haga contenido dañino para empezar.
"Queremos ver productos y plataformas que sean seguros por diseño, y animamos a las empresas de IA a hacer todo lo que puedan para asegurarse de que sus productos no puedan ser utilizados para crear imágenes de abuso sexual infantil", resalta Smith a WIRED.
Artículo originalmente publicado enWIRED. Adaptado por Mauricio Serfatty Godoy.