La inteligencia artificial (IA) ha revolucionado el mundo al aprender a ver, hablar e incluso escribir poesía. Sin embargo, hay un aspecto donde aún no ha evolucionado: su capacidad de autoaprendizaje. A pesar de su impresionante estructura y miles de millones de parámetros, los actuales modelos lingüísticos se quedan estáticos una vez que se terminan sus entrenamientos. Esta paradoja pone de manifiesto que, aunque nuestros modelos se vuelven cada vez más inteligentes, se distancian de la verdadera magia del cerebro humano, que se adapta y aprende constantemente.
Afortunadamente, un equipo de investigación en Palo Alto, liderado por Zuzanna Stamirowska, ha desarrollado un modelo que promete cambiar esta situación.
Pathway, la innovadora startup detrás de esta propuesta, ha presentado Baby Dragon Hatchling (BDH), un modelo que representa un avance significativo en el razonamiento adaptable. Este sistema ha sido diseñado para imitar cómo la inteligencia surge de forma natural en el cerebro humano, mapeando matemáticamente las interacciones neuronales que permiten una comprensión en evolución. El resultado es un sistema que no solo procesa información, sino que también evoluciona con ella.
Stamirowska compara la situación actual de los modelos de lenguaje con la famosa película «El día de la marmota». «Los LLM (Modelos de Lenguaje Grandes) actuales se entrenan una vez y repiten el mismo estado día tras día sin aprender de manera consistente», explica. «BDH, en cambio, tiene la capacidad de almacenar tanto contexto como conocimiento a largo plazo, abriendo la puerta a sistemas que resuelven problemas de forma continua, al igual que hacemos los humanos».
Pathway ha construido su propuesta sobre un vínculo crucial entre la atención en neurociencia y el aprendizaje automático. Su investigación ha revelado que BDH simula el desarrollo del razonamiento, mostrando cómo las neuronas encuentran la próxima idea relevante, al igual que el cerebro humano dirige su atención.
Además, la arquitectura de BDH permite una interpretación más sencilla de su funcionamiento, ya que sus activaciones son escasas, lo que permite a los investigadores identificar qué neuronas representan cada concepto. Esta propiedad, conocida como «monosemanticidad», podría facilitar auditorías y regulaciones futuras en el ámbito de la IA.
Adrian Kosowski, científico de Pathway, señala el actual desajuste entre las capacidades de los sistemas de ingeniería y la forma en que los LLM procesan información. «La arquitectura de BDH permite un razonamiento contextualizado a una escala empresarial, lo que podría cambiar las reglas del juego», afirma.
Un Enfoque Inspirado en la Biología
La innovación detrás de BDH se basa en el aprendizaje hebbiano, un principio fundamental de la neurociencia que establece que «las neuronas que se activan juntas se conectan». En este modelo, cada neurona artificial opera de manera independiente, conectándose localmente con otras. Cuando ciertas conexiones se activan repetidamente, se refuerzan, formando caminos que representan ideas aprendidas. Con el tiempo, esto da lugar a una red autoorganizada que permanece estable y flexible al mismo tiempo.
«BDH regresa a los fundamentos de las redes neuronales, buscando cómo un sistema complejo de neuronas puede aprender a partir de reglas locales sin requerir sincronización externa», comenta Chorowski, director técnico de la empresa.
El equipo de Pathway no solo cuenta con un brillante talento técnico, sino también con una visión innovadora. La recaudación de 10 millones de dólares en su primera ronda de financiación pone de manifiesto el interés en su visión, con inversores de renombre como TQ Ventures y otros grandes nombres del ámbito tecnológico. Su tecnología está siendo utilizada por entidades como la OTAN para analizar datos en tiempo real y La Poste en Francia para optimizar su logística.
Stamirowska destaca la necesidad de una IA más dinámica y en sintonía con su entorno. «Las conversaciones sobre cómo traducir ciencia rigurosa en un impacto práctico están en pleno auge», afirma la CEO.
¿El Fin de los Modelos Transformadores?
Con BDH, los desarrolladores podrían despedirse del costoso proceso de reentrenamiento de modelos cada vez que aparece nueva información. Pathway promete un cambio radical: su arquitectura permite que el modelo evolucione de manera continua, aprendiendo de la experiencia sin la necesidad de un reinicio completo.
«La forma en que BDH opera se asemeja al cerebro humano, utilizando reglas de inferencia locales y desarrollando representaciones dispersas», menciona Chorowski. Estas características podrían hacer que el sistema sea más eficiente y menos costoso a largo plazo para las empresas, lo que es crucial en un campo donde los gastos en energía y potencia de cálculo son astronómicos.
Aun así, existen opiniones críticas en el sector. Aunque BDH ofrece un rendimiento comparable a otros modelos consolidado, falta demostrar una ventaja clara en la escalabilidad respecto a las arquitecturas líderes. Expertos como R. Ravi, de la Universidad Carnegie Mellon, plantean la importancia de la explicabilidad en la implementación de IA, sugiriendo que la interpretación literal de principios biológicos podría no siempre funcionar.
Por ahora, BDH se encuentra en una fase inicial, pero su potencial es innegable. La verdadera prueba de fuego será su capacidad para gestionar la complejidad de los modelos a gran escala y los desafíos del mundo real. Si tiene éxito, Pathway podría haber dado inicio a una nueva era en la IA, logrando que las máquinas no solo imiten el cerebro humano, sino que empiecen a pensar realmente como él.
«Al describir la aparición del razonamiento a partir de las interacciones neuronales, estamos creando un trampolín para el avance del campo de la IA», concluye Kosowski. «Creemos firmemente que los sistemas basados en BDH ofrecerán más funcionalidad y eficiencia, especialmente en entornos empresariales».
