- Samaipata, primer fondo español en aliarse con Anthropic
- Anthropic cierra una megarronda de 30.000 millones de dólares que la valora en 380.000 millones
Vinay Rao afirma que hay modelos que necesitan más medidas de seguridad y que no todos los laboratorios tienen las mismas prioridades.
Vinay Rao pasó años en Anthropic, uno de los laboratorios de inteligencia artificial más influyentes del mundo, construyendo los sistemas diseñados para garantizar que su modelo de inteligencia artificial Claude no suponga una amenaza para los seres humanos. En 2023 dejó su puesto como director de seguridad de inteligencia artificial de la start up. Su sucesor, Mrinank Sharma, hizo lo mismo en febrero de este año. En su nota de despedida, Sharma fue categórico: "El mundo está en peligro, y no solo por la inteligencia artificial".
Rao no es tan apocalíptico, pero su mensaje tampoco es nada tranquilizador. Desde su nuevo rol como socio operativo del fondo español de capital riesgo Samaipata, este ingeniero por la Universidad de Stanford advierte de que la industria avanza más rápido de lo que es capaz de protegerse. "Las capacidades de los modelos están evolucionando rápidamente y los métodos utilizados hoy por los equipos de seguridad son ya mucho mejores que los de hace un año", señala por email a EXPANSIÓN. "Pero se requiere un cuidado y una cautela extremos, y no podemos volvernos demasiado confiados en nuestras capacidades", agrega.
Durante su etapa en Anthropic, el trabajo de Rao consistía en imaginar todos los usos maliciosos posibles de la inteligencia artificial para diseñar los mecanismos capaces de impedirlos. "Me preocupa todo el espectro de amenazas", explica, "desde la capacidad de un modelo para crear un arma biológica hasta un sistema empresarial mal configurado que exfiltre datos o provoque un apagón en una red eléctrica". Entre las amenazas más inmediatas, el experto apunta algunas que ya son una realidad como las aplicaciones que generan imágenes sexualizadas de menores, las estafas masivas con inteligencia artificial y las campañas de desinformación.
Para Rao, ésta es una de las áreas donde la industria tiene más trabajo pendiente. "Algunos modelos necesitan más pruebas y salvaguardas, especialmente para proteger a los menores y limitar la desinformación", señala Rao. "También para facilitar que las personas identifiquen el contenido generado por inteligencia artificial", añade.
El entrevistado conoce bien a los equipos de seguridad de varios laboratorios y los describe como "profesionales competentes y comprometidos que trabajan con enorme esfuerzo para garantizar que los modelos estén bien entrenados, bien probados y bien protegidos". Sin embargo, reconoce que no todas las compañías operan con el mismo nivel de exigencia ni las mismas prioridades estratégicas. "Las empresas toman decisiones según lo que consideran prioritario", asegura.
En lo que respecta al debate sobre cómo regular la inteligencia artificial, Rao defiende que los laboratorios deben poder innovar para aprovechar los beneficios que la inteligencia artificial puede aportar a la humanidad, pero ese proceso debe estar sujeto a controles como los que pasan industrias como la del automóvil o los medicamentos. "Dado que los modelos son tan potentes y capaces, sus resultados deben cumplir estándares rigurosos de prueba y lanzamiento", asegura Rao.
El problema, reconoce el que es socio operativo del fondo español Samaipata, es que el proceso regulatorio todavía está tomando forma. Lo que sí tiene claro es lo que no debe ocurrir: regulaciones opaca, impredecibles o tan burocráticas que resulten inoperante. "Los procesos deben ser claros, escalables y transparentes", dice. Sin eso, será imposible generar confianza en los modelos, concluye.
Multiverse Computing pelea desde San Sebastián por el talento más escaso de la IAAnthropic demanda al Pentágono tras acabar en una lista negra de seguridad nacionalUnicaja, primer banco español que se alía con Nvidia para impulsar la IA Comentar ÚLTIMA HORA