En un entorno cada vez más especializado en inteligencia artificial, la posibilidad de entrenar modelos directamente en hardware accesible, como el ESP32-S3, abre nuevas puertas para la innovación y la creación de soluciones adaptadas a contextos específicos. Este microcontrolador, que se puede adquirir por apenas ocho dólares, ha demostrado ser capaz de llevar a cabo tareas de aprendizaje automático, incluyendo el entrenamiento de un modelo de lenguaje desde cero.
Tradicionalmente, muchos asociados al desarrollo de inteligencia artificial asumen que se requieren equipos sofisticados y costosos, como GPUs o centros de datos. Sin embargo, un grupo de desarrolladores ha puesto a prueba esta premisa, creando un modelo Transformer que aprende en el mismo dispositivo, sin necesitar estructura o datos preexistentes para su entrenamiento. La clave radica en aplicar enfoques de Edge AI para que dispositivos pequeños democráticamente accedan a capacidades que antes parecían reservadas para grandes instalaciones.
El nuevo paradigma del aprendizaje autónomo
La idea de entrenar un modelo en el ESP32-S3 lleva consigo la pregunta: ¿qué sucede cuando el modelo no puede ser precocido ni preentrenado? Imaginemos una aplicación real, como un sensor en maquinaria agrícola que necesita captar las vibraciones específicas de un único equipo. En tales escenarios, donde no hay acceso a datos previos y la conectividad es limitada, el dispositivo debe aprender sobre la marcha.
Este experimento se centró en un ejemplo concreto: el entrenamiento del microcontrolador en el aprendizaje del idioma Klingon, una lengua construida con una gramática y estructura definidas. La elección de Klingon no fue arbitraria; se trata de un lenguaje que proporciona un marco robusto para la modelización con un vocabulario limitado y reglas gramaticales que pueden ser aprendidas a partir de un corpus reducido, todo ello un aspecto vital dado el almacenamiento limitado del microcontrolador.
Entrenamiento en un contexto restringido
Uno de los principales desafíos al entrenar un modelo en un dispositivo como el ESP32-S3 es la restricción de memoria. Este microcontrolador cuenta con solo unos pocos megabytes de RAM, lo que limita el tamaño del modelo y del corpus utilizado para el aprendizaje. Se utilizaron solamente 319,000 parámetros, suficientes para aprender la estructura del idioma, pero no para captar sus complejidades semánticas.
El impacto de esta limitación se traduce en una estrategia de aprendizaje más meticulosa; se necesita un corpus sencillo y conciso que no sobrepase la capacidad de almacenamiento y pueda ser gestionado íntegramente en el dispositivo. En este caso, los investigadores desarrollaron un conjunto de datos limpio y gratuito que permitiera al modelo empezar su ciclo de aprendizaje.
Resultados tangibles y futuros desafíos
El resultado fue un modelo que, aunque limitado, puede generar textos en Klingon que respetan muchas de las estructuras gramaticales del lenguaje, aunque no siempre con significado completo. Ejemplos como «hIngan motlh puS ruq tuq DujDaq SISwI’ nge’vI'» evidencian el aprendizaje del modelo en cuanto a morfología y gramática.
Con el fin de validar el proceso, se implementaron técnicas de retropropagación dentro del microcontrolador, realizando todos los pasos desde la inicialización de pesos aleatorios hasta la actualización de estos tras cada ciclo de aprendizaje. Los resultados no solo demuestran la viabilidad de este enfoque, sino que también resaltan el potencial de los dispositivos de bajo costo en la revolución del aprendizaje automático.
Este proyecto no solo establece un precedente en el uso de microcontroladores para entrenar modelos de inteligencia artificial, sino que también plantea interrogantes sobre cómo llevar esta capacidad a otros lenguajes minoritarios que no cuentan con la infraestructura de datos necesaria para ser preentrenados, lo que podría abrir nuevas rutas en la preservación y entendimiento de diversas lenguas a través de la tecnología.