Las redes sociales llevan años recurriendo a sistemas automatizados para intentar detectar algunos de los delitos más graves que circulan por internet. Entre ellos se encuentra la explotación sexual infantil, un fenómeno que obliga a plataformas, reguladores y fuerzas de seguridad a vigilar enormes volúmenes de contenido cada día. La promesa de estas herramientas es clara: identificar posibles casos antes y facilitar el trabajo de los agentes. Sin embargo, algunos equipos especializados en Estados Unidos sostienen que el volumen de avisos que reciben desde las plataformas de Meta se ha disparado y que una parte importante de ellos no aporta información útil para actuar.
Choque entre escala y utilidad. En un proceso judicial que se está celebrando en Nuevo México, la fiscalía sostiene que Meta no reveló adecuadamente lo que sabía sobre los riesgos que afrontan los menores en sus plataformas y que habría incumplido las leyes estatales de protección al consumidor. Según Associated Press, la acusación también argumenta que la compañía presentó la seguridad de sus servicios de una forma que no se correspondía con los riesgos que afrontaban niños y adolescentes. El caso forma parte de una ola más amplia de demandas presentadas en Estados Unidos contra grandes compañías tecnológicas por los efectos que sus servicios pueden tener sobre menores.
Meta rechaza esa interpretación. En su intervención ante el jurado, el abogado de la compañía Kevin Huff defendió que la empresa sí ha informado de los riesgos asociados al uso de sus servicios y que ha introducido distintas herramientas para detectar y eliminar contenido dañino. Según Associated Press, Huff insistió en que el punto central del caso no es demostrar que existe contenido problemático en redes sociales, sino determinar si la empresa ocultó información relevante a los usuarios.
Los investigadores en primera línea. Quienes han puesto cifras y ejemplos concretos a ese problema son agentes que trabajan directamente en investigaciones de explotación infantil en internet. En Estados Unidos, esas tareas recaen en gran medida en la red de unidades conocida como Internet Crimes Against Children (ICAC), un programa que agrupa a fuerzas policiales de distintos niveles y que está coordinado con el Departamento de Justicia para investigar y perseguir delitos cometidos contra menores en entornos digitales. Sus agentes reciben avisos sobre posibles casos procedentes de distintas fuentes, entre ellas las propias plataformas tecnológicas.
Durante el juicio, algunos de esos agentes han descrito cómo están viviendo el aumento de avisos procedentes de las plataformas de Meta. Benjamin Zwiebel, agente especial del ICAC en Nuevo México, explicó ante el tribunal que muchos de los avisos que reciben resultan poco útiles para avanzar en una investigación. “Recibimos muchos consejos de Meta que son simplemente basura”, declaró, según recoge The Guardian. Sus palabras reflejan una preocupación más amplia dentro de estas unidades: el volumen de alertas se ha disparado, pero no todas contienen la información necesaria para identificar a un sospechoso o iniciar una actuación policial.
Mala calidad. En algunos casos, los informes enviados desde las plataformas incluyen datos que no describen una conducta delictiva. En otros, sí apuntan a un posible delito, pero llegan sin elementos esenciales para continuar la investigación, como imágenes, vídeos o fragmentos de conversaciones que permitan identificar a los responsables. Sin ese material, los agentes tienen pocas herramientas para avanzar en el caso o solicitar nuevas diligencias. Algunos agentes también han señalado que una parte de estos avisos llega con información incompleta o parcialmente eliminada.
En Xataka
¿Es hora de acabar con el anonimato? Los argumentos a favor y en contra del pilar sobre el que se ha construido internet
La maquinaria del reporte masivo. Detrás de ese aumento de avisos hay varios factores que ayudan a entender por qué el volumen de informes enviados a las autoridades se ha disparado. En Estados Unidos, las empresas tecnológicas están obligadas por ley a comunicar cualquier material de abuso sexual infantil que detecten en sus servicios al National Center for Missing & Exploited Children (NCMEC), una organización que actúa como centro nacional de recepción de estos avisos y los distribuye posteriormente entre las fuerzas policiales correspondientes. Agentes citados por The Guardian apuntan también a cambios legales recientes, como el Report Act, que entró en vigor en noviembre de 2024, como un posible factor que habría incrementado el número de avisos enviados para evitar incumplimientos.
Meta dice que está haciendo lo contrario. La compañía rechaza la idea de que sus sistemas estén dificultando el trabajo de las autoridades y sostiene que, por el contrario, lleva años colaborando con las fuerzas de seguridad para detectar y perseguir este tipo de delitos. Un portavoz de Meta afirmó que el Departamento de Justicia de Estados Unidos ha reconocido en varias ocasiones la rapidez con la que la empresa responde a las solicitudes de las autoridades y que el NCMEC ha valorado positivamente su sistema de notificación de avisos.
Según la compañía, en 2024 recibió más de 9.000 solicitudes de emergencia por parte de autoridades estadounidenses y las resolvió en un tiempo medio de 67 minutos, un proceso que, asegura, se acelera aún más cuando se trata de casos relacionados con la seguridad infantil o el riesgo de suicidio. Meta también señala que comunica al NCMEC cualquier material que pueda estar vinculado con explotación sexual infantil y que trabaja con esa organización para ayudar a priorizar los avisos, entre otras cosas etiquetando aquellos que considera más urgentes.
Un problema real. Más allá de lo que determine el jurado en Nuevo México, el caso refleja una tensión que va más allá de una sola empresa o de un solo estado. Las plataformas digitales operan a escala global y recurren a sistemas automatizados para detectar contenidos ilícitos en volúmenes que serían imposibles de revisar manualmente. Sin embargo, la experiencia que describen algunos agentes muestra que aumentar la cantidad de avisos no siempre se traduce en investigaciones más eficaces.
Imágenes | Dima Solomin | ROBIN WORRALL
En Xataka | Dario Amodei fundó Anthropic porque OpenAI no se tomaba en serio los riesgos de la IA. Ahora va a ceder a esos riesgos
-
La noticia
La IA de Meta debía ayudar a detectar abuso infantil: agentes de EEUU denuncian que está fallando en un punto clave
fue publicada originalmente en
Xataka
por
Javier Marquez
.
La IA de Meta debía ayudar a detectar abuso infantil: agentes de EEUU denuncian que está fallando en un punto clave
Agentes aseguran que muchos avisos automatizados llegan sin información suficiente
Meta defiende su cooperación con las autoridades y sostiene que sus herramientas son útiles
Las redes sociales llevan años recurriendo a sistemas automatizados para intentar detectar algunos de los delitos más graves que circulan por internet. Entre ellos se encuentra la explotación sexual infantil, un fenómeno que obliga a plataformas, reguladores y fuerzas de seguridad a vigilar enormes volúmenes de contenido cada día. La promesa de estas herramientas es clara: identificar posibles casos antes y facilitar el trabajo de los agentes. Sin embargo, algunos equipos especializados en Estados Unidos sostienen que el volumen de avisos que reciben desde las plataformas de Meta se ha disparado y que una parte importante de ellos no aporta información útil para actuar.
Choque entre escala y utilidad. En un proceso judicial que se está celebrando en Nuevo México, la fiscalía sostiene que Meta no reveló adecuadamente lo que sabía sobre los riesgos que afrontan los menores en sus plataformas y que habría incumplido las leyes estatales de protección al consumidor. Según Associated Press, la acusación también argumenta que la compañía presentó la seguridad de sus servicios de una forma que no se correspondía con los riesgos que afrontaban niños y adolescentes. El caso forma parte de una ola más amplia de demandas presentadas en Estados Unidos contra grandes compañías tecnológicas por los efectos que sus servicios pueden tener sobre menores.
Meta rechaza esa interpretación. En su intervención ante el jurado, el abogado de la compañía Kevin Huff defendió que la empresa sí ha informado de los riesgos asociados al uso de sus servicios y que ha introducido distintas herramientas para detectar y eliminar contenido dañino. Según Associated Press, Huff insistió en que el punto central del caso no es demostrar que existe contenido problemático en redes sociales, sino determinar si la empresa ocultó información relevante a los usuarios.
Los investigadores en primera línea. Quienes han puesto cifras y ejemplos concretos a ese problema son agentes que trabajan directamente en investigaciones de explotación infantil en internet. En Estados Unidos, esas tareas recaen en gran medida en la red de unidades conocida como Internet Crimes Against Children (ICAC), un programa que agrupa a fuerzas policiales de distintos niveles y que está coordinado con el Departamento de Justicia para investigar y perseguir delitos cometidos contra menores en entornos digitales. Sus agentes reciben avisos sobre posibles casos procedentes de distintas fuentes, entre ellas las propias plataformas tecnológicas.
Durante el juicio, algunos de esos agentes han descrito cómo están viviendo el aumento de avisos procedentes de las plataformas de Meta. Benjamin Zwiebel, agente especial del ICAC en Nuevo México, explicó ante el tribunal que muchos de los avisos que reciben resultan poco útiles para avanzar en una investigación. “Recibimos muchos consejos de Meta que son simplemente basura”, declaró, según recoge The Guardian. Sus palabras reflejan una preocupación más amplia dentro de estas unidades: el volumen de alertas se ha disparado, pero no todas contienen la información necesaria para identificar a un sospechoso o iniciar una actuación policial.
Mala calidad. En algunos casos, los informes enviados desde las plataformas incluyen datos que no describen una conducta delictiva. En otros, sí apuntan a un posible delito, pero llegan sin elementos esenciales para continuar la investigación, como imágenes, vídeos o fragmentos de conversaciones que permitan identificar a los responsables. Sin ese material, los agentes tienen pocas herramientas para avanzar en el caso o solicitar nuevas diligencias. Algunos agentes también han señalado que una parte de estos avisos llega con información incompleta o parcialmente eliminada.
La maquinaria del reporte masivo. Detrás de ese aumento de avisos hay varios factores que ayudan a entender por qué el volumen de informes enviados a las autoridades se ha disparado. En Estados Unidos, las empresas tecnológicas están obligadas por ley a comunicar cualquier material de abuso sexual infantil que detecten en sus servicios al National Center for Missing & Exploited Children (NCMEC), una organización que actúa como centro nacional de recepción de estos avisos y los distribuye posteriormente entre las fuerzas policiales correspondientes. Agentes citados por The Guardian apuntan también a cambios legales recientes, como el Report Act, que entró en vigor en noviembre de 2024, como un posible factor que habría incrementado el número de avisos enviados para evitar incumplimientos.
Meta dice que está haciendo lo contrario. La compañía rechaza la idea de que sus sistemas estén dificultando el trabajo de las autoridades y sostiene que, por el contrario, lleva años colaborando con las fuerzas de seguridad para detectar y perseguir este tipo de delitos. Un portavoz de Meta afirmó que el Departamento de Justicia de Estados Unidos ha reconocido en varias ocasiones la rapidez con la que la empresa responde a las solicitudes de las autoridades y que el NCMEC ha valorado positivamente su sistema de notificación de avisos.
Según la compañía, en 2024 recibió más de 9.000 solicitudes de emergencia por parte de autoridades estadounidenses y las resolvió en un tiempo medio de 67 minutos, un proceso que, asegura, se acelera aún más cuando se trata de casos relacionados con la seguridad infantil o el riesgo de suicidio. Meta también señala que comunica al NCMEC cualquier material que pueda estar vinculado con explotación sexual infantil y que trabaja con esa organización para ayudar a priorizar los avisos, entre otras cosas etiquetando aquellos que considera más urgentes.
Un problema real. Más allá de lo que determine el jurado en Nuevo México, el caso refleja una tensión que va más allá de una sola empresa o de un solo estado. Las plataformas digitales operan a escala global y recurren a sistemas automatizados para detectar contenidos ilícitos en volúmenes que serían imposibles de revisar manualmente. Sin embargo, la experiencia que describen algunos agentes muestra que aumentar la cantidad de avisos no siempre se traduce en investigaciones más eficaces.