PrismML se presenta como una de las startups más prometedoras en el panorama de la inteligencia artificial, enfocándose en la compresión de modelos de lenguaje de gran tamaño (LLM por sus siglas en inglés). Aunque su ronda de financiación semilla alcanzó los 22.25 millones de dólares, lo que realmente destaca es la capacidad técnica de su equipo y las innovaciones tecnológicas que están desarrollando.
La propuesta de valor de PrismML radica en la creación de modelos de razonamiento que no necesitan ser voluminosos para ser efectivos. La startup está trabajando en modelos tan compactos que pueden ejecutarse en computadoras personales y smartphones, lo que representa un cambio significativo en la forma en que se despliegan las aplicaciones de IA. Se espera que en breve estén en conversaciones para colaborar con grandes nombres como Apple, aunque su CEO, Babak Hassibi, se ha mantenido reservado al respecto.
Recientemente, PrismML lanzó su modelo Bonsai 2, el cual comprime el modelo Qwen 3.8 de Alibaba, reduciendo su tamaño de 27B a tan solo 5.9 GB. Esto representa una reducción de 9 a 10 veces en memoria, permitiendo su uso en dispositivos de menor capacidad. Este avance tecnológico posiciona a PrismML como líder en la compresión de LLMs sin comprometer su rendimiento.
Fundada por un grupo de investigadores de Caltech y dirigida por Hassibi, un experto en tecnologías de compresión, la compañía también cuenta con el respaldo de Ion Stoica, cofundador de Databricks y director de la Sky Computing Lab de Berkeley. PrismML ha atraído la atención de destacados inversores como Khosla Ventures y Cerberus Capital.
Rendimiento y Resultados
A pesar de que el sector de la compresión LLM no es exclusivo de PrismML, la startup se distingue por su capacidad de mantener un rendimiento casi idéntico al modelo original. La última versión de Bonsai 2 alcanza el 98% de los puntajes de referencia del modelo Qwen, mejorando el rendimiento del modelo anterior, que había alcanzado un 95%. Este primer modelo ya ha sido descargado más de 11 millones de veces, mientras que los modelos más pequeños han acumulado otras 2.6 millones de descargas, según información de la empresa.
Sin embargo, aunque el objetivo es alcanzar una paridad del 100% en términos de rendimiento, Hassibi advierte que la compresión siempre tendrá algún impacto. Aún así, la diferencia de aproximadamente un 2% en el rendimiento probablemente no afectará significativamente la eficacia del modelo en aplicaciones reales, considerando que el entorno en el que operan estos modelos también juega un rol crucial.
La clave del éxito de PrismML radica en su innovador enfoque de compresión. Al reducir los “pesos” que componen un modelo —que tradicionalmente requieren 16 bits por peso— usando un sistema de «pesos ternarios» que solo utiliza +1, −1 y 0, logran reducir drásticamente el espacio requerido. Dicha técnica se presenta como un avance significativo en el campo de la inteligencia artificial, permitiendo que modelos avanzados operen directamente en los dispositivos de los usuarios.
Con planes para aplicar su técnica de compresión en modelos aún más grandes, PrismML se posiciona como un referente en la industria de la inteligencia artificial. Hassibi anticipa que los próximos lanzamientos podrían involucrar modelos de cientos de miles de millones de parámetros, donde la conservación de la inteligencia del modelo sería más viable. Esto abriría la puerta a un futuro donde la inteligencia avanzada esté disponible en la palma de la mano, de manera gratuita y privada.