Esa opinión fue cuestionada en un artículo reciente por Gašper Beguš, lingüista de la Universidad de California en Berkeley, Maksymilian Dąbkowski, quien recientemente recibió su doctorado en lingüística en Berkeley, y Ryan Rhodes, de la Universidad de Rutgers. Los investigadores sometieron varios modelos de lenguaje complejos (MLC) a una serie de pruebas lingüísticas, incluyendo, en un caso, la generalización de las reglas de un idioma inventado. Si bien la mayoría de los MLC no lograron analizar las reglas lingüísticas como lo hacen los humanos, uno de ellos demostró capacidades impresionantes que superaron con creces las expectativas. Fue capaz de analizar el lenguaje de forma muy similar a como lo haría un estudiante de posgrado en lingüística: diagramando oraciones, resolviendo múltiples significados ambiguos y utilizando características lingüísticas complejas como la recursión. Este hallazgo, según Beguš, “desafía nuestra comprensión de lo que la IA puede hacer”.
Este nuevo trabajo es oportuno y "muy importante", dijo Tom McCoy, un lingüista computacional de la Universidad de Yale que no participó en la investigación. “A medida que la sociedad depende cada vez más de esta tecnología, es fundamental comprender dónde puede tener éxito y dónde puede fracasar”. El análisis lingüístico, añadió, es el banco de pruebas ideal para evaluar hasta qué punto estos modelos de lenguaje pueden razonar como los humanos.
Complejidad infinita
Uno de los retos de someter a los modelos de lenguaje a una prueba lingüística rigurosa es asegurarse de que no conozcan ya las respuestas. Estos sistemas suelen entrenarse con enormes cantidades de información escrita, no solo la mayor parte de internet, en decenas, si no cientos, de idiomas, sino también materiales como libros de texto de lingüística. En teoría, los modelos podrían simplemente memorizar y reproducir la información que se les ha proporcionado durante el entrenamiento.
Para evitar esto, Beguš y sus colegas crearon una prueba lingüística en cuatro partes. Tres de las cuatro partes consistían en pedirle al modelo que analizara oraciones especialmente diseñadas utilizando diagramas de árbol, que fueron introducidos por primera vez en el libro fundamental de Chomsky de 1957, Estructuras sintácticas. Estos diagramas descomponen las oraciones en frases nominales y frases verbales, y luego las subdividen en sustantivos, verbos, adjetivos, adverbios, preposiciones, conjunciones, etc.
Una parte del examen se centró en la recursión: la capacidad de insertar frases dentro de otras frases. “El cielo es azul” es una oración simple en inglés. “Jane dijo que el cielo es azul” inserta la oración original en una ligeramente más compleja. Es importante destacar que este proceso de recursión puede continuar indefinidamente: “María se preguntó si Sam sabía que Omar había oído que Jane dijo que el cielo es azul” también es una oración recursiva gramaticalmente correcta, aunque algo forzada.
David Mortensen, un lingüista computacional de la Universidad Carnegie Mellon que no participó en el trabajo. Ha habido debate sobre si los modelos de lenguaje simplemente predicen la siguiente palabra (o token lingüístico) en una oración, lo cual es cualitativamente diferente de la profunda comprensión del lenguaje que tienen los humanos. "Algunos lingüistas han dicho que los modelos de lenguaje no realmente se dedican al lenguaje", expresó. "Esto parece invalidar esas afirmaciones".¿Qué quieres decir realmente?
McCoy se mostró sorprendido por el rendimiento general de o1, en particular por su capacidad para reconocer la ambigüedad, algo que, según él, resulta "notoriamente difícil de capturar para los modelos computacionales del lenguaje". Los humanos "poseemos un amplio conocimiento de sentido común que nos permite descartar la ambigüedad. Pero a las computadoras les resulta difícil alcanzar ese nivel de conocimiento de sentido común".
Una oración como “Rowan alimentó a su gallina mascota” podría describir a la gallina que Rowan tiene como mascota, o bien la comida de carne de pollo que le dio a su compañero animal (presumiblemente más tradicional). El modelo o1 generó correctamente dos árboles sintácticos diferentes: uno que corresponde a la primera interpretación de la oración y otro que corresponde a la segunda.
Quanta Magazine. Adaptado por Mauricio Serfatty Godoy.