En un avance significativo para la inteligencia artificial en Europa, el consorcio alemán coordinado por el KI Bundesverband ha presentado «Soofi S 30B-A3B», un avanzado modelo de lenguaje abierto, diseñado con un enfoque especial en el idioma alemán. Este modelo, que ha sido entrenado completamente en la nube de IA industrial de Deutsche Telekom en Múnich, se posiciona como uno de los líderes en rendimiento, superando a competidores previos en diversas métricas en inglés y alemán.
La arquitectura de Soofi S se basa en un modelo de mezcla de expertos (Mixture-of-Experts, MoE), que emplea un total de 31.6 mil millones de parámetros, aunque activa solo unos 3.2 mil millones por cada token generado. Esto permite que su costo computacional sea comparable al de modelos significativamente más pequeños, haciendo más eficiente el uso de recursos. Gracias a su diseño híbrido, que combina capas Mamba-2 con capas de atención estándar, Soofi S logra mantener un alto rendimiento de generación incluso en contextos extensos, con tasas de producción que superan hasta ocho veces las de modelos densos en el rango de 14 a 24 mil millones de parámetros.
Fase de entrenamiento orientada al alemán
El consorcio procesó un total de 27 billones de tokens, distribuidos en tres fases. La primera fase se centró en establecer fundamentos lingüísticos a partir de una mezcla exhaustiva que incluyó textos web, código y matemáticas, para sumar aproximadamente 20 billones de tokens. En la segunda fase, se utilizaron unos 6 billones de tokens de fuentes de mayor calidad, y la tercera fase amplió el contexto entrenando en documentos extensos de hasta un millón de tokens.
Un aspecto destacado del entrenamiento es el enfoque deliberado hacia el idioma alemán. En la primera fase, el alemán representó el 7.2 % del conjunto de datos, aumentando este porcentaje al 15.3 % en la segunda fase. Esta atención a la lengua germánica permite que Soofi S sobresalga en las evaluaciones de competencia lingüística en pruebas destinadas a medir el rendimiento específico de la lengua alemana.
Resultados de rendimiento destacados
En pruebas realizadas contra otros 16 modelos abiertos, Soofi S logró la puntuación más alta en inglés y alemán, destacándose en un conjunto de métricas críticas. Por ejemplo, alcanzó un impresionante 73.8 % en la evaluación de código «HumanEval» y un 84.2 % en su variante alemana, estableciendo un nuevo estándar entre los modelos de código de código abierto. En las métricas que evalúan el conocimiento regional en Alemania, Soofi S empató con otro modelo de referencia, demostrando su capacidad de adaptación y comprensión cultural. Sin embargo, se observaron debilidades en tareas específicas, como la extracción de palabras en documentos extensos, donde tuvo un rendimiento inferior frente a modelos comparables.
El proceso de entrenamiento se llevó a cabo en un entorno sostenible, utilizando 512 GPUs Nvidia B200 y aproximadamente 253,000 horas de GPU, alimentadas completamente por energía renovable. Este sistema no solo cumple con altos estándares de eficiencia energética, sino que además representa uno de los primeros grandes entrenamientos realizados en este tipo de infraestructura en Alemania.
Detrás de Soofi S se encuentran varias instituciones de investigación y empresas, todas comprometidas a construir un modelo de inteligencia artificial europeo que sea accesible y funcional en diversas aplicaciones industriales. El modelo y sus parámetros se publicarán junto con los pesos y otros recursos relevantes, asegurando que el desarrollo se alinee con las definiciones de código abierto contemporáneas.
Con el potencial de generar un impacto significativo en distintos sectores, Soofi S no solo demuestra el avance tecnológico en la inteligencia artificial, sino que también reitera la importancia de la colaboración internacional y los esfuerzos de investigación locales en un contexto global de IA.