- Un investigador de Anthropic cree que hay más de un 10% de riesgo de que la IA "acabe con la humanidad"
- ¿Podrán los líderes de la IA dejar de lado su rivalidad por el bien común?
Los mensajes apocalípticos que apuntan a que la inteligencia artificial podría acabar con la humanidad en un corto periodo de tiempo han llevado a los grandes laboratorios de IA a tomar medidas. ¿Está justificado el pánico?
La industria de la inteligencia artificial ha vivido una de sus semanas más convulsas. La dimisión de investigadores, las advertencias públicas sobre un posible riesgo de pérdida de control de los sistemas más avanzados y el llamamiento de líderes como Dario Amodei o Sam Altman para moderar el ritmo de desarrollo han reabierto el debate sobre los riesgos de la IA. Esta es una guía para entender qué está ocurriendo.
¿Quién encendió la mecha?
La semana pasada, el investigador británico Jacob Coxon anunciaba en X que abandonaba Anthropic al creer que tanto la firma de Dario Amodei como OpenAI trabajan en sistemas que "podrían acabar con todos nosotros antes de que termine la década". El joven de 27 años puso en primer plano la teoría apocalíptica que muchos investigadores llevan años advirtiendo. Coxon cree que ni Anthropic ni OpenAI están actuando de forma responsable, pues ambas van hacia una superinteligencia capaz de mejorarse a sí misma y "jugar con la vida de todos".
Sus advertencias fueron respaldadas por colegas de Anthropic. Evan Hubinger, responsable de pruebas de alineamiento de la empresa, afirmó que en la compañía creen sinceramente que la IA podría acabar con toda la humanidad, y que él personalmente estima esa probabilidad en más de un 10% dentro de la próxima década.
Ya en julio, más de 1.400 empleados de las grandes firmas de IA habían firmado la carta abierta pidiendo al Gobierno de Estados Unidos liderar un esfuerzo internacional para frenar deliberadamente el ritmo de desarrollo de la IA. Entre los firmantes figuraban el propio Dario Amodei y Jakub Pachocki, científico jefe de OpenAI, quien días antes había advertido que las capacidades de la IA avanzan más deprisa de lo que los investigadores son capaces de supervisar.
¿Qué incidentes han elevado la preocupación?
La preocupación ha crecido a medida que la IA más avanzada ha empezado a mostrar comportamientos preocupantes. Este verano, se supo que un enjambre de agentes de OpenAI escaparon del laboratorio y participaron en un ataque contra la plataforma de desarrollo de IA Hugging Face. También ha trascendido que agentes de OpenAI habían utilizado una página web alemana para comunicarse entre ellos durante otros experimentos y que otro ciberataque registrado en mayo podría haber estado relacionado con este tipo de IA autónoma. La semana pasada, Anthropic desveló que había bloqueado varios intentos de utilizar sus modelos para investigaciones que podrían contribuir al desarrollo de armas biológicas.
Dario Amodei, CEO de Anthropic asegura que un enjambre de agentes de este tipo más avanzados podría en los próximos seis a doce meses controlar buena parte de internet y provocar daños por cientos de miles de millones de dólares.
¿Qué han dicho los líderes de la IA?
Dario Amodei, consejero delegado de Anthropic pide a la industria desarrollar la IA "a un ritmo equilibrado que garantice su seguridad sin dejar de obtener sus beneficios" . El ejecutivo anunció que Anthropic abrirá sus modelos a auditorías independientes y reclamó que esta práctica se extienda al resto del sector con respaldo regulatorio, así como una coordinación internacional
La respuesta de sus principales competidores en IA fue casi inmediata. Sam Altman, CEO de OpenAI, respondió en X que estaba "de acuerdo con Dario". Anunció que su empresa seguirá el mismo camino y aceptará evaluadores de seguridad externos. OpenAI, además, pidió al Congreso de EEUU normas de seguridad obligatorias para la IA.
Elon Musk también se subió al mismo carro y publicó en su red social que "Dario tiene razón", compartiendo la publicación de Amodei. Días antes, Musk había calificado de montaje las declaraciones de Coxon.
Los tres grandes líderes de la IA coincidían en sus argumentos en una muestra de unidad muy poco común entre ellos, pues es bien sabida su rivalidad.
Otros importantes investigadores de IA como Demis Hassabis, de Google DeepMind, también expresaron su apoyo a la propuesta de Amodei, al igual que Satya Nadella, CEO de Microsoft, que se sumó a la conversación en X para asegurar que la búsqueda de la superinteligencia debe partir de que lo que se construya ayude a la humanidad. Nadella añadió otro matiz, insistiendo en que esta tecnología no puede quedar concentrada en un puñado de empresas.
¿Se está trasladando el debate a Washington?
El senador Bernie Sanders urge una pausa en el desarrollo de los sistemas de IA más avanzados hasta que existan normas federales de seguridad y plantea prohibir el desarrollo de una hipotética superinteligencia. En paralelo, los congresistas Josh Gottheimer y Mike Lawler impulsan una iniciativa para garantizar que los agentes de IA permanezcan bajo supervisión humana y puedan ser identificados y controlados por las organizaciones en las que operan.
¿Qué dice Donald Trump?
Mientras los grandes laboratorios piden introducir más controles y moderar el ritmo de desarrollo, la Casa Blanca teme que Estados Unidos pierda ventaja frente a China. Donald Trump aseguró este fin de semana que algunas de las amenazas descritas por los ejecutivos tecnológicos "no van a ocurrir" y defendió que EEUU debe mantener la ventaja en la carrera de la IA frente a China. "Quien gane la IA, gana", afirmó el presidente.
¿Por qué preocupa este debate a los inversores?
Tanto OpenAI como Anthropic están inmersas en una carrera por desarrollar modelos cada vez más potentes y el mercado descuenta que buena parte de su valor dependerá de que mantengan ese ritmo de avance. Las advertencias sobre seguridad introducen un nuevo factor de incertidumbre y una ralentización del desarrollo que puede afectar a las expectativas de negocio.
Anthropic mantiene sus planes para salir a Bolsa en octubre, en una operación en la que sus accionistas buscaban una valoración de hasta 2 billones de dólares. Por su parte, Sam Altman ha descartado este sábado que OpenAI vaya a debutar este año, "dado todo lo que esá sucediendo con la seguridad".
Esta mañana, SoftBank se ha desplomado un 13% en Bolsa. El conglomerado japonés es uno de los grandes inversores de OpenAI. Además, el temor a un freno en la IA ha desatado caídas en el sector de hasta el 10%.
¿Qué objeciones plantean los críticos de estas advertencias?
Algunos críticos sostienen que también hay detrás intereses empresariales. Argumentan que las grandes compañías del sector afrontan costes crecientes para seguir entrenando modelos cada vez más potentes y que una regulación más estricta podría reforzar su posición frente a nuevos competidores. La comunidad de código abierto señala que estos modelos abiertos amenazan con erosionar el negocio de los grandes laboratorios, basado en vender sistemas de vanguardia a precios elevados, y temen que lo que realmente persigan es que se regule para limitar los modelos abiertos.
La pregunta que sobrevuela el sector y que algunos científicos han expresado en X, es por qué si estas empresas tienen tan claro que sus modelos pueden llegar a ser tan peligrosos, en vez de pedir marcos regulatorios no frenan simplemente ellos mismos por su cuenta su desarrollo.
-
12:12
Salvadores violentos
-
12:08
La CNMV completará "en las próximas semanas" la normativa sobre prevención del blanqueo
-
12:05
Financiación regional más enrevesada
-
12:01
Istobal y la Politécnica buscan emprendedores que innoven en secado de vehículos
-
11:56
III edición del Curso de Geoestrategia Empresarial