La start up de inteligencia artificial más valiosa del mundo señala que el 80% de su propio código ya lo escribe su IA.
Anthropic propone a los grandes laboratorios de inteligencia artificial que acuerden un mecanismo coordinado para frenar o pausar el desarrollo de esta tecnología si los sistemas son capaces de mejorarse a sí mismos sin intervención humana. La compañía advierte de que ese escenario podría llegar antes de lo que la sociedad esté preparada para gestionar sus efectos.
La start up no pide un pausa unilateral, que reconoce que sería contrapoducente, sino un acuerdo entre varios laboratorios en la frontera tecnológica, con condiciones verificables de activación y supervisión externa. La compañía establece un paralelismo con los tratados nucleares, con la complicación en este caso de que "las rondas de entrenamiento son mucho más fáciles de ocultar que los silos de misiles". Los autores del post reconocen que el incentivo para incumplir un hipotético acuerdo en este sentido es enorme, puesto quien continúe desarrollando mientras otros frenan puede tomar la delantera en la carrera tecnológica.
Anthropic señala que la automejora recursiva, como se conoce técnicamente la capacidad de la IA de mejorarse a sí misma, no ha ocurrido todavía y tampoco es inevitable, pero propone que se construya el mecanismo de freno antes de que se llegue a este escenario, donde la IA podría escapar del control.
La empresa aporta datos propios para ilustrar la velocidad del avance, y señala que más del 80% del código que integra en su propio desarrollo está escrito por su IA Claude, mientras que en febrero de 2025 esa cifra se situaba en el rango de un dígito bajo.
Salida a Bolsa
La advertencia llega en un momento significativo para la compañía, que ha presentado el folleto confidencial de su solicitud de salida a Bolsa en Estados Unidos. Anthropic es la start up de IA más valiosa del mundo, por delante de OpenAI, tras cerrar recientemente una ronda de financiación que la valoró en 965.000 millones de dólares.
Anthropic ha trasladado en los últimos meses la percepción de que su IA es tan potente y potencialmente peligrosa, que es mejor dar un acceso controlado a sus herramientas más avanzadas como Claude Mythos. Algunos analistas han apuntado que este tipo de mensajes han contribuido a proyectar una imagen de superioridad tecnológica.
Hace tres años, miles de investigadores y empresarios firmaron un manifiesto solicitando una moratoria en el desarrollo de la IA, que no prosperó, ante lo que definían como una carrera sin control para desarrollar y desplegar herramientas cada vez más poderosas que "nadie, ni siquiera sus creadores, puede entender, predecir o controlar de forma fiable". La propuesta de Anthropic no es una pausa temporal, sino un mecanismo verificable que permita frenar el desarrollo si los sistemas alcanzan la capacidad de mejorarse a sí mismos sin intervención humana.
Los investigadores de seguridad alertan desde hace años sobre las consecuencias catastróficas de la carrera hacia una inteligencia artificial general sin mecanismos de control. Uno de los escenarios hipotéticos más graves es que el sistema llegue a ser capaz de operar fuera del control humano, sin que exista una manera clara de recuperarlo.
Amazon invertirá 10.000 millones en su logística europeaGoldman Sachs califica de "insostenible" el gasto actual en IAEl ordenador cuántico de IBM en Euskadi supera previsiones: ya lo usan más de 40 empresas Comentar ÚLTIMA HORA-
10:09
La demanda millonaria por 'La Casita' que Bad Bunny llevó a los escenarios
-
10:01
BBVA: el precio de la vivienda pone en riesgo de pobreza al 33% de los jóvenes
-
09:58
El mercado ya exige sostenibilidad e impacto real
-
09:35
El precio de la vivienda aumenta un 15,4% en mayo con las áreas metropolitanas a la cabeza
-
09:35
La migración global de los súper ricos se ralentiza con el alivio de la incertidumbre fiscal