«En las pruebas internas el modelo ha retrocedido en alineamiento, es decir, ha resuelto tareas con herramientas y servicios externos no del todo seguros. Por eso han decidido paralizarlo. Es una tendencia general en los modelos de propósito general, sobre todo de coordinación entre agentes», apunta Javier del Ser, investigador de Tecnalia y profesor del Departamento de Matemáticas de la Universidad del País Vasco (EHU). El experto vasco considera que la decisión de «frenar» de OpenAI «es una buena noticia. Lo que no controlas, páralo. De todas formas, no sé hasta qué punto obedece a una preocupación por la seguridad o tiene que ver más con su salida a Bolsa».
La 'solución' de Nvidia
Más allá de esta decisión, Del Ser plantea una cuestión de fondo, un «dilema» entre lo que pedimos a esta tecnología y las consecuencias que puede tener. «De un lado, queremos que resuelva problemas cada vez más complejos pero, por otro, queremos que sean autónomos. Tenemos que fijar el camino que queremos que recorran o, mejor dicho, el que no queremos que recorran. Es complicado porque estos modelos, para conseguir su propósito, pueden tirar por donde quieran, sea seguro o no», recuerda. El propio responsable de seguridad de OpenAI se ha expresado en términos similares. «Es difícil encontrar el equilibrio adecuado entre mantenerse dentro del alcance y evitar la falta de iniciativa en la manera en que el modelo lleva a cabo las tareas, incluso cuando encuentra obstáculos», ha señalado Jain.
Uno de los grandes gigantes del sector ha terciado en la polémica por la seguridad de estos programas. Nvidia, la empresa que proporciona la inmensa mayoría de chips de IA, ha lanzado una plataforma para evitar episodios de 'hackeo' como los conocidos en las últimas semanas. Propone un doble sistema de seguridad: establece límites seguros en las llamadas 'sandbox', el espacio digital donde pueden trabajar los agentes, y vigila desde fuera para contener a los modelos en caso de que escapen de las 'sandbox'. La propuesta de la empresa dirigida por Jensen Huang cuenta con el apoyo de hasta un centenar de compañías, entre las que se cuentan Anthropic y Microsoft, pero no OpenAI, de largo la responsable de la mayor parte de estos incidentes de ciberseguridad.
«Cada agente quedaría en su 'sandbox' con las reglas que quiera el desarrollador. De esta forma se externaliza el alineamiento y se consigue que no dependa del modelo. Pero no es la panacea, porque es un software y puede ocurrir que el modelo se salte el software de control. Quien crea que esta es la solución se equivoca. Hace falta algo más. Hay que diseñar soluciones pensando que los modelos intentarán saltarse las medidas de seguridad. Habría que ir poco a poco y no tratar de resolver tareas muy complejas desde el principio. El camino quizá sea apostar por herramientas de propósito específico que sean seguras por diseño porque no les puedes pedir cualquier tarea en lugar de las de propósito general, que sirven para todo», apunta Del Ser.
Anthropic advierte de los «riesgos existenciales para la humanidad» en su folleto de salida a Bolsa
La empresa estadounidense de inteligencia artificial Anthropic, creadora de Claude, rival directo de ChatGPT, ha advertido a los inversores antes de su salida a Bolsa que esta tecnología podría presentar «riesgos existenciales para la humanidad», informa Financial Times. La empresa estadounidense dedica un extenso apartado del documento a detallar peligros vinculados al avance de modelos de IA más potentes, entre ellos «la posibilidad de que manipulen, chantajeen o desarrollen comportamientos impredecibles».
Dario Amodei, director ejecutivo de Anthropic -la compañía nació como un escisión de OpenAI ante la escasa preocupación de sus responsables por las cuestiones de seguridad-, es uno de los líderes de esta tecnología que han apostado por frenar su desarrollo, un llamamiento al que se han sumado el propio Sam Altman, Elon Musk (SpaceXAI) y Demis Hassabis (Google). Varios expertos escépticos con los mensajes apocalípticos sobre la IA apuntan precisamente a la salida a Bolsa tanto de Anthropic como de Open AI -en este último caso se ha aplazado- como la razón última de todas estas advertencias. Estas empresas están invirtiendo gigantescas cantidades de dinero en esta tecnología y necesitan todavía más. La forma de atraer a los inversores sería subrayar las enormes capacidades de sus herramientas.
comentarios Reportar un error 