“El consenso es que el próximo año o los dos siguientes serán decisivos para la humanidad”, aseguró Coxon, quien trabajó en la fase de preentrenamiento del desarrollo de la IA. “En realidad, estas son citas textuales de mis colegas de Anthropic. Usan frases como ‘fase final’ o ‘momento decisivo’”, explica. “Desde su perspectiva, este es el momento en el que Anthropic y sus competidores decidirán el destino de la humanidad”.
No es ni mucho menos la primera vez que alguien da la voz de alarma sobre la IA, pero esta vez llega en un momento delicado. Silicon Valley se está esforzando por hacer frente a las preocupaciones sobre la seguridad y la protección de los modelos avanzados de IA. OpenAI se ha apresurado a responder a un incidente de seguridad en el que sus agentes hackearon la plataforma Hugging Face. Mientras tanto, Anthropic trata de asegurar a los inversores que tiene estas preocupaciones bajo control, ya que, según se informa, se prepara para presentar lo que podría ser la mayor salida a bolsa de la historia.
Lo que ha quedado claro en las reacciones a la publicación de Coxon es que bastantes de sus opiniones son compartidas por muchos de sus compañeros. Evan Hubinger, responsable de alineación de la IA en Anthropic, predijo en una publicación en X que hay más de un 10% de probabilidades de que la IA pueda acabar con toda la humanidad en la próxima década. Esa publicación fue compartida por investigadores actuales y antiguos de OpenAI y Anthropic, algunos de los cuales afirmaron que se trataba de un sentimiento común en el sector.
Lo que resulta menos evidente es cómo se materializarán exactamente estos temores sobre la IA y qué se supone que debe hacer el mundo ante las preocupaciones planteadas por quienes desarrollan la propia IA. Coxon, que también trabajó en OpenAI, cuenta a WIRED que las amenazas podrían manifestarse a través de armas biológicas impulsadas por la IA o de ciberarmas. Como primer paso, recomienda que OpenAI y Anthropic se coordinen para limitar la “mejora recursiva”, término del sector que se refiere a cuando se usa la IA para crear nuevos sistemas de IA. A largo plazo, cree que será necesaria la coordinación entre las grandes potencias internacionales, incluidas EE UU y China.
Coxon señala que incidentes como el hackeo de Hugging Face influyeron en su decisión de dar la voz de alarma sobre la carrera por la IA. También cita el crecimiento explosivo del sector: actualmente representa una parte significativa del crecimiento económico de EE UU y cuenta con miles de millones de usuarios, mientras que los centros de datos lo han convertido en un problema político en decenas de estados.
Señala que, según su experiencia, Anthropic opera de forma más responsable que OpenAI, pero prevé que ambas empresas podrían tomar atajos en el futuro si no se hace nada para frenar su carrera por el dominio.
“Siempre hemos sido transparentes al indicar que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes”, declaró un portavoz de Anthropic en un comunicado a WIRED, citando el trabajo previo de la empresa sobre métodos de seguridad en IA. “Este trabajo es también la razón por la que creemos que el mundo se beneficiaría de que el sector adoptara una forma legal y verificable de colaborar para regular el ritmo al que lanzamos modelos potentes”. OpenAI no respondió a la solicitud de comentarios de WIRED.
Están pidiendo a gritos que se les regule. Muchos [dirigentes de Anthropic] han declarado públicamente que quieren que se les regule, y la razón por la que quieren eso es porque tienen miedo de la carrera en la que se encuentran.las ecuaciones de Navier-Stokes, ese novedoso problema matemático. Realmente no hay ninguna razón por la que no podamos trasladar eso a ámbitos científicos como la biología y lograr avances en cuestiones con las que llevamos luchando mucho tiempo.Da la sensación de que estamos a las puertas de una abundancia desmesurada si conseguimos que esta tecnología funcione como es debido. El principal problema, en este momento, es adentrarnos en ese mundo de abundancia con moderación. Podemos emocionarnos tanto que nos lancemos de cabeza a lo de la “automejora” en los próximos años y lo echemos todo por la borda.
Si somos prudentes y sensatos, hay muchas formas de obtener un valor tremendo de estos modelos.
¿Cómo ha sido la reacción de otros investigadores de IA al respecto?
No he hablado con muchos, pero creo que bastantes de mis colegas de Anthropic están genuinamente contentos de que esto haya cobrado tanto impulso. De nuevo, muchos de ellos son bastante pesimistas respecto a que el mundo se dé cuenta de los riesgos. Les preocupa que nadie vaya a venir realmente a salvarlos de esta carrera.
Me parece bastante sorprendente que tantos estén genuinamente contentos de que un tuit que los critica esté teniendo tanta repercusión. Esto debería hacer que la gente reflexione más sobre el tipo de gente que hay en Anthropic. Son un grupo de personas muy bienintencionadas, interesantes y un poco raras.
Estoy seguro de que los próximos días serán una locura, pero cuando las cosas se calmen, ¿ya has pensado en qué vas a hacer a continuación?
Ya he mencionado antes AI 2027 y AI 2040. Creo que son predicciones realmente interesantes sobre cómo se perfila el futuro. No las han elaborado grandes laboratorios, sino investigadores externos a los que simplemente les interesaba predecir cómo sería el mundo. Han sido recursos muy valiosos para mí y para muchos otros investigadores a la hora de intentar reflexionar sobre las implicaciones de lo que estamos haciendo.
Así que espero hacer algo parecido: una especie de comentario independiente sobre hacia dónde van las cosas, al menos a corto plazo, antes de que lleguemos a algún tipo de acuerdo sobre el ritmo o se produzca una desaceleración. [Si] parece que no vamos a lanzarnos directamente a la superación recursiva, quizá me plantee acudir a una agencia de auditoría o a algún organismo regulador o de transparencia independiente. Pero, por ahora, creo que simplemente voy a intentar hacer un balance de cómo está la situación.
Artículo originalmente publicado enWIRED.com. Adaptado por Mauricio Serfatty Godoy.