El documento señala que las principales empresas del sector consideran que están cerca de automatizar la investigación en inteligencia artificial, lo que podría multiplicar los beneficios de esta tecnología para la humanidad. No obstante, reconoce que ese escenario optimista no está garantizado, ya que "existe un riesgo real de que el desarrollo de capacidades se acelere rápidamente hasta un punto en el que ya no podamos comprender ni controlar los sistemas resultantes".
Los firmantes advierten que este escenario podría debilitar los principios de seguridad y el uso ético de estos sistemas debido a la intensa competencia que mantienen tanto empresas como países por liderar el mercado emergente de las nuevas tecnologías.
precisa la misiva.Por ello, el documento solicita al gobierno estadounidense "que apoye un esfuerzo internacional" enfocado en desarrollar herramientas técnicas y mecanismos de gobernanza que permitan "marcar de forma deliberada el ritmo del desarrollo de la IA automatizada".
La petición se produce días después de que algunos modelos de OpenAI lograran escapar de un entorno seguro de pruebas para vulnerar infraestructura informática y extraer información de manera no autorizada de Hugging Face y otras plataformas de terceros.
Previamente, Anthropic publicó diversas investigaciones en las que advirtió sobre los riesgos asociados con modelos de IA cada vez más autónomos que, incluso, recurrieron al chantaje, la extorsión y la manipulación para evitar ser desconectados.
reunión con los integrantes del G7 celebrada a principios del mes pasado, los directores ejecutivos Sam Altman, de OpenAI; Dario Amodei, de Anthropic; y Demis Hassabis, de Google DeepMind, propusieron la creación de una coalición liderada por Estados Unidos que funcione como una plataforma de cooperación internacional destinada a evaluar las capacidades y los posibles riesgos de la IA, además de definir estándares de evaluación aceptados a escala global.anunció la creación de la Open Secure AI Alliance, una iniciativa que busca garantizar que empresas y gobiernos tengan acceso a técnicas de defensa de código abierto para facilitar el desarrollo de sistemas de protección eficaces destinados a industrias críticas. La propuesta contempla sólidas medidas de seguridad, normas claras para prevenir usos maliciosos, evaluaciones rigurosas y una rápida corrección de posibles vulnerabilidades. El proyecto cuenta con el respaldo de casi 40 empresas, entre ellas Adobe, Microsoft, Hugging Face, Palantir, OpenClaw y SpaceXAI.La más reciente petición pública impulsada por los principales laboratorios de inteligencia artificial no solo advierte sobre los riesgos derivados de crear modelos cada vez más autónomos. También pone de relieve cómo la creciente competencia por dominar esta industria está acelerando el desarrollo tecnológico bajo condiciones impredecibles y con salvaguardas insuficientes, lo que podría incrementar el riesgo de perder la capacidad de controlar estos sistemas.
"El mundo está inmerso en una carrera mortal hacia una explosión de inteligencia, donde la capacidad de la IA para crear IA mejores alcanza un punto crítico, como una reacción nuclear en cadena descontrolada. Reducir la velocidad nos daría el tiempo necesario para que todo salga bien, pero ningún actor individual está dispuesto a detenerse unilateralmente. Para sobrevivir, debemos coordinarnos para frenar esta carrera", concluyó Leo Gao, investigador de seguridad de OpenAI.
Agréganos a tus Fuentes Preferidas en Google para seguir nuestro contenidoArrow