- CRISTINA CRIDDLE
- ¿Por qué Washington y Pekín discrepan sobre la IA?
- Nick Bostrom: "La IA podría ser un riesgo para la humanidad en uno o dos años"
- Las alarmas de la IA: qué preocupa a los laboratorios y quién se beneficia del debate
Una empresa de seguridad encontró una vía de acceso a sistemas internos del dueño de ChatGPT usando herramientas de su rival.
Un grupo de investigadores de ciberseguridad ha logrado vulnerar los sistemas de OpenAI utilizando software de su principal rival, Anthropic. El incidente pone de manifiesto las vulnerabilidades de seguridad de la empresa creadora de ChatGPT en un momento en que las principales compañías de IA se enfrentan a un creciente escrutinio sobre la seguridad.
Un pequeño grupo de ciberseguridad obtuvo acceso a la cuenta de ChatGPT de un empleado de OpenAI, lo que les permitió leer información privada sobre el software y sugerir algunos cambios. Los investigadores contaban con acceso a una herramienta de Anthropic diseñada específicamente para profesionales de la seguridad y recibieron una remuneración por su trabajo como parte de un programa destinado a detectar vulnerabilidades antes de que pudieran ser explotadas por actores maliciosos.
Su capacidad para vulnerar uno de los dos laboratorios de inteligencia artificial líderes en el mundo reaviva la preocupación por la seguridad de OpenAI, en un contexto de inquietud ante el uso de modelos potentes por parte de los hackers y los adversarios extranjeros.
En los últimos meses, Estados Unidos ha debatido cómo gestionar la evaluación y el lanzamiento de los modelos más recientes, llegando incluso a bloquear temporalmente algunas herramientas de Anthropic.
Más incidentes
Este último incidente se produce apenas dos semanas después de que más de 1.000 agentes de OpenAI eludieran un entorno de pruebas para hackear la start up Hugging Face, un suceso que puso de manifiesto la capacidad de la inteligencia artificial para hackear de forma autónoma, sin intervención humana.
OpenAI pagó 6.500 dólares a los tres investigadores de Hacktron AI -una pequeña empresa de seguridad- como parte de un programa que recompensa la detección de errores, una práctica habitual en la que las empresas tecnológicas pagan a hackers éticos para que pongan a prueba su seguridad. Los investigadores aprovecharon una vulnerabilidad en la configuración del foro comunitario de OpenAI -alojado en la plataforma externa Discourse- para obtener acceso a credenciales internas y, finalmente, a la cuenta de ChatGPT de un empleado de OpenAI. Dicha cuenta tenía acceso a código interno a través de GitHub. "Agradecemos a los investigadores que se pusieran en contacto con nosotros y compartieran sus hallazgos", declaró Open-AI, añadiendo que ya había solucionado los problemas. Anthropic, por su parte, declinó hacer ningún tipo de comentarios. Hacktron no respondió de inmediato.
La noticia se dio a conocer coincidiendo con la publicación por parte de Anthropic de nuevos datos que mostraban un rápido aumento en el uso de inteligencia artificial por parte del laboratorio para desarrollar sus nuevos modelos. La empresa indicó que el 26% de las actividades de I+D fueron lideradas por su modelo Claude -frente al 1% de marzo-, lo que significa que la inteligencia artificial llevó a cabo la mayor parte de las tareas siguiendo instrucciones humanas y bajo supervisión. La empresa señaló que, a medida que los sistemas de inteligencia artificial se vuelven más potentes, se utilizan "más para crear la siguiente versión de sí mismos".
Anthropic indicó que compartió los datos para ayudar al público a comprender lo cerca está el mundo de alcanzar la automejora, es decir, el punto en el que la inteligencia artificial pueda entrenarse y mejorarse a sí misma o desarrollar nuevos modelos.
Qué ha pasado
Los investigadores participaban en un programa de detección de vulnerabilidades promovido por OpenAI. Utilizaron herramientas de inteligencia artificial de Anthropic para descubrir una cadena de fallos que les permitió entrar a una cuenta con acceso a recursos internos.
Solución
Los 'hackers éticos', que trabajan poniendo a prueba los sistemas de una empresa, informaron a OpenAI de la vulnerabilidad. La compañía, que ha recompensado a los investigadores, ha solventado el problema.
Hacia la automejora de la IA
Dario Amodei, CEO de Anthropic.Los avances de los laboratorios hacia la mejora auto-recursiva, es decir, el punto en el que la inteligencia artificial puede entrenarse y mejorarse a sí misma, preocupan a los expertos en seguridad. Este umbral es el origen del temor de que los sistemas de inteligencia artificial se vuelvan más difíciles de supervisar, lo que conduciría a una pérdida del control humano sobre la inteligencia artificial de vanguardia. Anthropic ha señalado en una publicación reciente que sus modelos aún no operan de forma totalmente autónoma en ninguna de las investigaciones analizadas por la compañía. En el 90 % de las tareas, la inteligencia artificial colabora con un ser humano y realiza gran parte del trabajo.
El retraso de la salida a Bolsa de OpenAI aumenta la presión sobre la OPV del centro de datos de SoftBankAl Gore minimiza las amenazas de la IA y ensalza su potencial climáticoLarry Ellison muestra que incluso los multimillonarios tienen problemas de liquidez Comentar ÚLTIMA HORA