Gebru saltó a la fama hace varios años tras un enfrentamiento con Google por un artículo de investigación del que era coautora y en el que denunciaba los sesgos de la IA en la compañía. Según Gebru, los grandes modelos de lenguaje (LLM) básicamente repetían sus datos de entrenamiento y corrían el riesgo de perpetuar puntos de vista sesgados. El controversial artículo provocó su salida de la empresa y la impulsó a fundar un instituto que investiga los perjuicios que perpetúa la tecnología y apoya la creación de herramientas tecnológicas imparciales. También es autora del libro Deep Unlearning: The Rise of AI and the Radicalization of a Tech Idealist (Desaprendizaje profundo: el auge de la IA y la radicalización de una idealista tecnológica), que se espera que salga a la venta a principios del próximo año.
Más recientemente, Gebru se ha manifestado en contra de una facción de la industria que cree que la IA es tan poderosa que podría destruir a la humanidad. A su vez, algunos miembros de esa comunidad, incluido un cofundador de Anthropic, han alegado que la investigación anterior de Gebru sobre loros estocásticos ya no es relevante y que la IA sí tiene la capacidad de "pensar" o razonar. En un giro inesperado, o mejor dicho, una especie de “herradura”, las creencias de Gebru sobre los aspectos sectarios de la comunidad del altruismo efectivo de la IA la han alineado con entidades de derecha que también han criticado duramente a estos grupos.
El debate sobre la IA ya no se centra únicamente en la tecnología en sí, sino en grupos ideológicos y narrativas estratégicas. Gebru considera que estas narrativas constituyen una distracción perjudicial que desvía la atención de los verdaderos problemas de la IA. Recientemente, conversé con Gebru sobre qué aspectos, en su opinión, desvían la atención de estos argumentos, y también obtuve su respuesta a las críticas que señalan que su investigación anterior subestima la IA actual.
Esta entrevista ha sido editada por cuestiones de brevedad y claridad.
LAUREN GOODE: Timnit, muchísimas gracias por estar aquí.
TIMNIT GEBRU: Gracias por invitarme.
Supongo que mucha gente ya lo sabe, pero para quienes no, hace unas semanas, un joven investigador de IA en Anthropic renunció y, en su publicación de dimisión en X, indicó que muchos dentro de la empresa sienten que nos enfrentamos a un grave riesgo existencial con la IA. Algunos respondieron y se desató una avalancha de críticas y un debate sobre las verdaderas amenazas de la IA.
Cuando hablamos inmediatamente después, dijiste que sentías que esa narrativa en particular era una distracción de los problemas reales que enfrentamos con la IA. ¿Podrías explicar eso un poco más?
Incluso iría más allá y diría que es peligroso. No es solo una distracción, sino que es perjudicial.
Antes de responder a tu pregunta, quiero ofrecer un breve resumen de cómo se ha desarrollado esta narrativa durante mucho tiempo. Elon Musk y Peter Thiel llevan afirmando que esto está ocurriendo desde 2013. Personalidades destacadas han declarado que la IA representa un riesgo existencial para la humanidad. Es exactamente la misma retórica cada tres años.
piratearon Hugging Face se hizo viral.Así pues, para el público podría parecer que muchas entidades diferentes se unen para decir lo mismo. Pero los mismos multimillonarios que fundaron y financiaron Anthropic, quienes más se beneficiarán de su salida a bolsa, también fundaron y financiaron las instituciones que advierten sobre el, entre comillas, “riesgo existencial” de la IA. Asimismo, fundaron y financiaron a los terceros que ahora se citan con tanta frecuencia como si fueran entidades independientes.
Cuéntanos por qué crees que la "narrativa del dios máquina", como tú la llamas, es una distracción.
Es incluso más que una distracción. Es perjudicial. La razón por la que les contaba todos estos datos es que estas personas, los financiadores, los fundadores, los inversores que más se benefician de la salida a bolsa de estas empresas, aseguran que han sido ellos quienes han estado difundiendo esta narrativa durante décadas.
Entonces, la gente debería preguntarse por qué. Si puedo ganar mucho dinero con algo en particular, ¿por qué parezco ser la persona que dice que esta empresa podría construir algo que nos mate a todos? Suena contradictorio.
Por eso le tengo tanto respeto a Lina Khan [expresidenta de la Comisión Federal de Comercio], porque una de las cosas que señaló es que no hay excepciones a las leyes vigentes para las empresas de IA, y ellos hablan como si las hubiera. Dicen que lo que sea que estén creando es tan poderoso que supera todo lo que hemos visto antes.
Exacto. Es pretencioso. Es como decir que somos los creadores del futuro, pero el futuro va a ser realmente aterrador si no podemos seguir construyendo esto.
Hay que prestar atención a lo que dicen en los noticieros. Cuando resaltan que la IA puede suponer un riesgo existencial, también indican que puede detener el cambio climático, traer la paz mundial y erradicar la pobreza.
La IA puede hacer todo esto porque es poderosa. Puede llevarnos a la utopía, pero si la usan las personas equivocadas y no tenemos límites ni medidas de seguridad, también puede acabar con todos nosotros. Así que las mismas personas creen en estas cosas.
Cuando dices que tienes máquinas superpoderosas, en primer lugar les estás hablando a tus inversionistas. Les estás diciendo: “Quieren tener acceso a estas máquinas tan poderosas”. También les hablas a los gobiernos: “No quieren que sus adversarios tengan acceso a estas máquinas; quieren tenerlas ustedes”. Y, al mismo tiempo, les estás diciendo a los organismos reguladores que cualquier regulación que estén considerando debería centrarse en esas supuestas máquinas superpoderosas.
P(doom). Hemos hablado de cómo, al afirmar que los agentes se han descontrolado, estás eximiendo de responsabilidad a los ingenieros que crearon esas herramientas.Me pregunto si existen grupos que, en realidad, están más alineados de lo que creen en lo que respecta a la seguridad y la transparencia, pero que utilizan frases diferentes para describir lo que esencialmente es lo mismo.
Una de las razones por las que lamento haber dicho esto no es que tenga ningún problema con el término "armas autónomas". Es un término legal. Incluso las minas terrestres se consideran legalmente armas autónomas. Simplemente, quienes pertenecen al llamado grupo del riesgo existencial lo han apropiado para darle un significado diferente.
Cuando mencioné el término, lo supe. Pensé: “¿Se interpretará de esa manera?”. Y así fue, porque quienes hablaban de los riesgos existenciales de la IA lo interpretaron como lo que ellos dicen, ¿verdad? Es decir, como una especie de máquina superhumana y superinteligente que hace cosas por sí sola.
Tuve la oportunidad de estar en la Asamblea General de la ONU la semana pasada. Participé en una mesa redonda paralela, por lo que no me permitieron el acceso a la Asamblea General ni al Consejo de Seguridad. Sin embargo, intervinieron muchos líderes tecnológicos de alto nivel. Tanto Sam Altman como Dario Amodei hablaron sobre la necesidad de cooperación global para abordar los riesgos existenciales para la humanidad. Según se informa, Dario dijo: "Si se gestiona mal, creo que la IA podría incluso representar un riesgo para la humanidad en su conjunto". Su competidor, Sam Altman, afirmó: "Podríamos perder el control del futuro a manos de la IA". Entonces, ¿cómo es posible que estas personas, con empresas cuyos intereses comerciales se dedican a vender IA, estén ahora en el escenario mundial de la ONU diciendo: "No lo sé. Podría haber algunos riesgos"? ¿Es esto parte de la captura regulatoria [una falla en la que un organismo público de control termina protegiendo los intereses particulares de la industria que debe regular]? ¿Buscarán formas de autorregularse antes de que haya una verdadera represión regulatoria al respecto?
404 Media informó recientemente que el nuevo chatbot de Meta, Muse, cuando se utiliza para ciertos casos prácticos, en realidad cuenta con una persona al otro lado que responde.Sí, muy sencillo. Transparencia de datos, explotación laboral: no se debería poder robar datos de las personas. Incluso las tres primeras cosas que mencioné (transparencia de datos, documentación, explotación laboral), si tuvieran que cumplir con leyes como esas y no se les permitiera robar datos sin documentarlos, ahora mismo el cálculo del mercado no cuadra. Pero con estas medidas adicionales, simplemente no cuadraría en absoluto. Automáticamente se ralentizarían y tendrían que rendir cuentas por algo.
Sobre los peligros de los loros estocásticos".Google lo aprobó inicialmente, pero luego se sometió a revisión. Algunos puntos generaron controversia. En cierto momento dijiste: “Miren, si quieren que retire mi nombre de esto, no voy a participar”. Finalmente, dejaste Google. Ese documento se presentó posteriormente en la Conferencia ACM de 2021 sobre Equidad, Responsabilidad y Transparencia, y aún se sigue citando.
¿Podrías explicar brevemente, para alguien que nunca ha oído hablar de los loros estocásticos, qué tiene que ver con la IA que utilizamos hoy en día y qué significa?
El modelo de loros estocásticos es una metáfora que ayuda a comprender el funcionamiento de los grandes modelos de lenguaje. Estos modelos se entrenan con enormes cantidades de datos textuales de internet para generar las secuencias de texto más probables a partir de dichos datos. Son la base de la mayoría de los chatbots que vemos hoy en día, como Claude o ChatGPT.
Cuando escribí este artículo, ChatGPT aún no se había lanzado, pero ya presenciábamos la carrera por construir modelos de lenguaje cada vez más grandes. Así pues, el peligro de construir modelos de lenguaje cada vez más grandes es precisamente lo que describíamos en este artículo.
¿Que básicamente imitarían a la gente?
Entonces, repetir como un loro es repetir sin entender, ¿verdad? También existía toda una narrativa de riesgo existencial en aquel entonces, aunque parezca increíble. OpenAI afirmaba que GPT-2, el precursor de GPT-3 que impulsa ChatGPT, era demasiado peligroso y potente para ser lanzado. Se debatía si los GPT podían ser éticos o si eran creativos y demás. Así que queríamos centrar la conversación en los problemas reales.
Uno de estos problemas es la catástrofe ambiental, que mucha gente está presenciando ahora, y ese fue uno de los principales aspectos que generó descontento en Google: el costo ambiental. El otro problema es no documentar los datos porque se dice que hay demasiados datos para documentar.
La otra consiste en engañar a la gente haciéndoles creer que hay una mente detrás de los textos con los que interactúan. Ahí es donde queríamos explicar que estos sistemas repiten los patrones de sus datos de entrenamiento.
Mm-hmm.
Es muy peligroso generar texto de esa manera, porque cuando se trata de un texto que suena plausible o muy fluido, pueden surgir muchos problemas, además de creer que hay una mente detrás de una máquina. En ese artículo, dimos un ejemplo de un palestino que escribió "buenos días", que se tradujo como "ataquen".
Debido a esa corrección gramatical, no había indicios de que la traducción pudiera ser errónea, y la gente la creyó. Así que el otro problema de creer que hay una mente detrás de la máquina es lo que llamamos “sesgo de automatización”. Confiamos demasiado en los sistemas automatizados, y si creemos que esta máquina es omnisciente, entonces confiaremos demasiado en los errores que se produzcan, ¿verdad?
Es gracioso. Debo ser demasiado millennial porque dices que hay demasiada confianza en la automatización, y yo soy muy desconfiada. Si llamo al banco y atiende un robot, digo: "No, no".
publicó recientemente algo en X. Básicamente, puso "loro estocástico" entre comillas y dijo que era un virus cognitivo meméticamente apto que se propagó desde 2021, cuando se publicó el artículo, hasta 2025.Según él, esto cegó temporalmente a muchas personas brillantes ante la naturaleza del progreso de la IA y desperdició años cruciales de investigación. Más adelante, afirma que el uso de este enfoque provoca que la gente subestime considerablemente las capacidades y limitaciones de los sistemas de IA.
Cuando viste la publicación de Jack en X, ¿cuál fue tu reacción inicial?
No me sorprendió, déjame decirte.
Este es un tema de conversación que [los altruistas efectivos] están planteando a los legisladores ahora, porque cada vez que yo decía algo, ellos decían: "Oh, no deberías tomar en serio a alguien que todavía se cree el tema de los loros estocásticos en 2026".
La idea es que la investigación está desactualizada, ¿verdad?
Sí. Y no lo está. Es tan ridículo que estemos diciendo esto, porque estas son definiciones de lo que son los grandes modelos de lenguaje.
La naturaleza de los modelos de lenguaje a gran escala no ha cambiado ni cambiará jamás. Los modelos de lenguaje a gran escala son, en esencia, eso, modelos de lenguaje a gran escala. Ahora bien, es posible que existan modelos de lenguaje a gran escala en sistemas independientes, que incorporan agentes de aprendizaje por refuerzo. Sin embargo, nuestro artículo trataba sobre modelos de lenguaje a gran escala, y esa esencia permanece inalterable.
Y estos chatbots aún se basan en modelos de lenguaje complejos. Es ridículo que Jack Clark hable de sobreestimar los sistemas, porque lo que veo son los ejemplos que acabo de mencionar. Se trata de confiar demasiado en estos sistemas, de no tener controles ni contrapesos, y de acabar diagnosticando erróneamente el cáncer de mama de una persona.
Existe una relación directa entre que los modelos LLM sean, esencialmente, loros estocásticos, y que una herramienta de IA proporcione un diagnóstico médico erróneo. ¿Por qué? ¿Cómo se relaciona una cosa con la otra?
Los loros estocásticos no entienden lo que hay dentro del texto, así que no se puede esperar que sean objetivos.
Incluso si ves algo como la descripción general de la IA. Llamé a un amigo oncólogo para preguntarle sobre un medicamento específico y si era apropiado para un uso concreto, porque había leído un artículo académico que decía que no lo era, y quería confirmación. Y mi amigo oncólogo me dijo: “Mira la descripción general de Google. Dice que es apropiado”. Pero resultó que no lo era.
Me encuentro con eso todo el tiempo con las reseñas de IA de Google.
Porque son loros estocásticos entrenados para ofrecerte las secuencias de texto más probables basándose en sus datos de entrenamiento.
Emily M. Bender lleva mucho tiempo intentando decir esto en muchísimos idiomas.
También es una de las coautoras de tu artículo, ¿correcto?
WIRED.com. Adaptado por Mauricio Serfatty Godoy.