En el dinámico mundo de la inteligencia artificial, las startups están en constante búsqueda de optimizar sus modelos, tanto en eficiencia como en rendimiento. Justo dos semanas después de la presentación de Inkling, su primer modelo de lenguaje de código abierto, Thinking Machines ha lanzado Inkling-Small, un modelo que desafía las expectativas al ofrecer un rendimiento comparable al de su predecesor más grande, pero con una considerable reducción en su tamaño y requisitos operativos.
Inkling-Small es un modelo de razonamiento multimodal que cuenta con 276 mil millones de parámetros y está licenciado bajo Apache 2.0, lo que permite una amplia flexibilidad para su uso en entornos empresariales. Aunque el modelo original, Inkling, alcanza los 975 mil millones de parámetros, Inkling-Small se aproxima con un solo punto de diferencia en el Índice de Inteligencia Artificial de Artificial Analysis. Esto se debe, en parte, a su arquitectura innovadora, que solo activa 12 mil millones de parámetros de manera efectiva durante cada token procesado.
Esta optimización no solo significa un consumo de recursos más eficiente, sino que también reduce significativamente los costos de inferencia y la huella de implementación, haciéndolo más accesible para empresas con recursos limitados en unidades de procesamiento gráfico (GPUs). Aunque todavía se requiere una infraestructura significativa, como servidores de GPU empresariales o clusters en la nube, la reducción del tamaño es notable. Inkling-Small ofrece, por tanto, un equilibrio atractivo entre rendimiento y economía para organizaciones que necesitan herramientas de IA robustas pero que no pueden costear capacidades hiper-optimizadas.
Rendimiento sobresaliente a un tamaño reducido
Los análisis de rendimiento destacan que Inkling-Small no solo se aproxima, sino que, en algunas métricas, supera a su versión anterior. En pruebas específicas, Inkling-Small ha logrado una puntuación del 80.2% en SWE-bench Verified, frente al 77.6% de Inkling. Sin embargo, no todo son ventajas; Inkling retiene ventajas importantes en conocimientos fácticos y algunas tareas de razonamiento. Para aplicaciones críticas que requieran alta precisión de datos, Inkling-Small puede no ser la opción más adecuada sin un sistema de verificación adicional.
El modelo es de hecho un sistema de «mezcla de expertos», que permite que solo una fracción de su capacidad total se utilice al procesar información, garantizando un rendimiento eficiente. Además, su diseño multimodal permite que texto, imágenes y audio sean procesados simultáneamente, aumentando su versatilidad para diversas aplicaciones, como asistentes de codificación y chatbots.
Accesibilidad y flexibilidad con licencia Apache 2.0
La licencia Apache 2.0 bajo la cual se publica Inkling-Small representa un estándar de oro para modelos de código abierto en el ámbito empresarial. Esta licencia permite a las organizaciones usar, modificar y comercializar el modelo con ciertas condiciones, lo que simplifica enormemente su adopción en procesos internos y comerciales. De este modo, las empresas pueden enfocarse en innovar y desarrollar aplicaciones sin preocuparse por complicados términos legales o restricciones que suelen acompañar a las licencias personalizadas de otros modelos de IA.
En resumen, Inkling-Small se posiciona como un modelo versátil y pragmático. Aunque no es exactamente un modelo de consumo que cualquiera podría manejar en un ordenador personal, su lanzamiento señala un avance significativo en la compresión y despliegue de tecnologías de IA en entornos empresariales. Pensando en un futuro donde la IA sea accesible y manejable, este desarrollo marca un paso importante hacia la democratización de herramientas de inteligencia artificial potente y flexible.