El cerebro humano tiene una propiedad clave que vuelve posible el lenguaje y nos deja realizar pensamientos sofisticados: la generalización composicional. Es la habilidad de conjuntar de forma novedosa elementos ya conocidos con otros que se terminan de aprender. Por ejemplo, una vez que un pequeño sabe saltar, comprende con perfección qué es lo que significa saltar con las manos arriba o con los ojos cerrados. En la década de mil novecientos ochenta se teorizó que las redes neuronales artificiales, el motor en el que se apoyan la inteligencia artificial y el aprendizaje automático, serían inútiles de establecer esas conexiones. Un artículo publicado en la gaceta Nature ha probado que sí pueden, lo que abre potencialmente un enorme campo de mejora en la disciplina.
Los autores del estudio han desarrollado un renovador procedimiento de adiestramiento, que han bautizado como metaaprendizaje para composicionalidad (meta-learning for compositionality, en el original en inglés), en el que se actualiza continuamente la red neuronal y se la dirige mediante una serie de capítulos a fin de que sea capaz de relacionar experiencias. Posteriormente, efectuaron ensayos con voluntarios a los que se les sometió a exactamente las mismas pruebas que a las máquinas. Los resultados muestran que la máquina fue capaz de generalizar tan bien o mejor que las personas.
“Durante 35 años, los investigadores de la ciencia cognitiva, la inteligencia artificial, la lingüística y la filosofía han debatido si las redes neuronales pueden lograr una generalización sistemática similar a la humana. Hemos probado por primera vez que sí”, asevera Brenden Lake, maestro adjunto del Centro de Ciencia de Datos y del Departamento de Psicología de la NYU y uno de los autores del trabajo.
Los grandes modelos de lenguaje, como ChatGPT, son capaces de producir textos congruentes y bien estructurados desde las instrucciones que se les dé. El inconveniente es que, ya antes de llegar a ser capaces de hacerlo, se les debe adiestrar con una cantidad ingente de datos. Es decir, se procesan extensísimas bases de datos y se desarrollan algoritmos de inteligencia artificial o aprendizaje automático (machine learning) que sean capaces de extraer patrones y aprendan, por poner un ejemplo, que hay una muy alta probabilidad de que a las palabras “El césped es de color” las prosiga la palabra “verde”.
Estos procesos de adiestramiento son lentos y muy costosos en términos energéticos. Para adiestrar un modelo como ChatGPT, que tiene presente más de ciento setenta y cinco mil millones de factores, hace falta mucha capacidad computacional. Esto es, múltiples centros de datos (naves industriales llenas de ordenadores) marchando día y noche a lo largo de semanas o meses.
“Nosotros proponemos una solución parcial a este problema que se basa en una idea de las ciencias cognitivas”, explica por teléfono Marco Baroni, estudioso del ICREA y maestro del departamento de Traducción y Lenguas Sociales de la Universitat Pompeu Fabra de Barcelona y coautor del estudio. “Los humanos podemos aprender muy rápidamente porque tenemos la facultad de la generalización composicional. Es decir, que si yo nunca he oído la frase ‘saltar dos veces’, pero sí sé qué es ‘saltar’ y qué es ‘dos veces’, lo puedo entender. Eso no es capaz de hacerlo ChatGPT”, apunta Baroni. La herramienta estrella de OpenAI ha debido aprender qué es saltar una vez, saltar un par de veces, cantar una vez, cantar dos veces…
El género de adiestramiento propuesto por Lake y Baroni puede valer para que los grandes modelos de lenguaje aprendan a generalizar con menos datos de adiestramiento. El siguiente paso, afirma Baroni, es probar que su experimento es escalable. Ya han demostrado que marcha en un contexto de laboratorio; ahora toca hacerlo con un modelo conversacional. “No tenemos acceso a ChatGPT, que es un producto propiedad de OpenAI, pero hay muchos modelos más pequeños y muy potentes desarrollados por centros académicos. Usaremos alguno de ellos”, resalta Baroni.
Una de las pretensiones de los autores es, en verdad, “democratizar la inteligencia artificial”. El hecho de que los grandes modelos de lenguaje precisen enormes cantidades de datos y de potencia de cálculo limita la cantidad de distribuidores a un puñado de empresas con la infraestructura necesaria: Microsoft, Google, Amazon, Meta, etc.. Si la propuesta de Lake y Baroni prueba su calidad adiestrando esta clase de modelos, se abriría la puerta a que operadores más modestos puedan desarrollar sus sistemas y que estos no tengan nada que envidiar a ChatGPT o Bard.
El avance presentado por estos dos científicos puede ser útil asimismo en otras disciplinas. “Brenan y yo venimos del campo de la psicología lingüística. No creemos que las máquinas piensen como los seres humanos, pero sí que entender cómo funcionan las máquinas puede decirnos algo acerca de cómo lo hacen los humanos”, resalta Baroni. “De hecho, demostramos que cuando nuestro sistema se equivoca, el error no es tan grueso como los de ChatGPT, sino que son parecidos a los de las personas”.
Así ha sucedido, por poner un ejemplo, con un fallo relacionado con la iconicidad, un fenómeno en lingüística presente en todas y cada una de las lenguas del planeta por el que si se afirma A y B, salgo de casa y comeré, eso desea decir que ya antes salgo y después comeré. “En tareas de tipo experimental, si le enseñas al sujeto humano que, cuando se dice A y B, el orden correcto es B y A, suele haber fallos. Ese tipo de error también lo hace nuestro sistema”, ilustra el estudioso italiano.
¿Qué recorrido puede tener el procedimiento concebido por Lake y Baroni? Todo va a depender de qué suceda cuando se pruebe con grandes modelos de lenguaje. “No sabría decir si es una línea de investigación que vaya a ofrecer grandes avances a corto o medio plazo”, opina Teodoro Calonge, maestro Titular del departamento de Informática en la Universidad de Valladolid, quien ha revisado el código utilizado en los ensayos. Y agrega, en declaraciones a la plataforma SMC España: “Desde luego, no creo que vaya a dar respuesta a los interrogantes que actualmente se plantean en el campo de la explicabilidad de la inteligencia artificial y, en particular, en el campo de la inteligencia artificial”.
Santander (España), 1985. Después de obtener su licenciatura en Periodismo en la Universidad Complutense de Madrid, decidió enfocarse en el cine y se matriculó en un programa de posgrado en crítica cinematográfica.
Sin, embargo, su pasión por las criptomonedas le llevó a dedicarse al mundo de las finanzas. Le encanta ver películas en su tiempo libre y es un gran admirador del cine clásico. En cuanto a sus gustos personales, es un gran fanático del fútbol y es seguidor del Real Madrid. Además, ha sido voluntario en varias organizaciones benéficas que trabajan con niños.
