En el contexto actual de inteligencia artificial, la falta de memoria GPU se ha convertido en un factor crítico que limita la capacidad de las organizaciones para escalar sus modelos. Las largas ventanas de contexto y las conversaciones de múltiples interacciones hacen que los modelos de inteligencia artificial deban recomputar información, lo que implica un uso intensivo de recursos que podría ser aprovechado para atender a más usuarios o generar nuevas respuestas.
Weka, una empresa que se posiciona con una propuesta innovadora, ha presentado su plataforma NeuralMesh 6 junto a su primera línea de hardware diseñada internamente, Wekapod 3. Esta solución tiene como objetivo usar tecnologías de almacenamiento más económicas para ampliar lo que Weka denomina «Red de Memoria Aumentada», un enfoque que agrega memoria NAND flash para simular la memoria GPU a un coste considerablemente inferior.
En un mercado en constante evolución, diversas compañías como Dell, NetApp, Pure Storage y VAST han empezado a centrarse en la infraestructura de IA en los últimos dos años. Weka se presenta como uno de los pocos proveedores que ha sido diseñado desde el principio para este ámbito. Liran Zvibel, cofundador y CEO de Weka, comentó sobre la estrategia de la empresa, destacando que los clientes buscan maximizar la disponibilidad de cálculo, deseando así acceder a nuevos recursos de forma rápida.
La propuesta de Weka promete un retorno claro de inversión: mejor aprovechamiento de las inversiones en GPU, menores costes de inferencia y una implementación más rápida de nuevos trabajos de inteligencia artificial sin los retrasos asociados a la espera de más capacidad de GPU.
Características de NeuralMesh 6
NeuralMesh 6 introduce varias funcionalidades que abordan deficiencias reconocidas en el mercado. Entre ellas destaca:
- Multi-tenencia composable y virtual: Los clústeres composables permiten la completa aislación a nivel de hardware, mientras que la multi-tenencia virtual facilita la escalabilidad a más de 1,000 inquilinos por clúster.
- Almacenamiento unificado de archivos y objetos: A diferencia de otros sistemas que requieren traducción entre dos rutas de datos, Weka permite que los datos en disco sean leídos directamente sin crear copias adicionales, optimizando así el uso de recursos.
- Replicación basada en metadatos: Los entornos destino se vuelven navegables antes de que se complete una copia total de los datos, lo que reduce el tiempo de espera para que los usuarios tengan acceso a la información necesaria.
- AlloyFlash y reducción de datos en tiempo real: Weka combina dos tipos de memoria NAND (TLC y QLC) dentro de un mismo clúster, equilibrando costo y rendimiento. Esta mezcla permite una reducción de costes sin sacrificar la velocidad en tareas críticas.
Estas innovaciones son particularmente relevantes para organizaciones que operan IA a gran escala, así como para aquellas que proyectan un crecimiento rápido, como empresas que desarrollan copilotos internos o sistemas de atención al cliente. Por el contrario, las implementaciones más pequeñas pueden no notar un impacto inmediato en sus operaciones.
Enfrentando el desafío del contexto en IA
A medida que las ventanas de contexto y las interacciones de múltiples etapas crecen, el desperdicio computacional en la GPU se convierte en un desafío significativo. La Red de Memoria Aumentada de Weka está diseñada para abordar esta problemática, permitiendo una cache adecuada de los cálculos previos de forma que se minimice la redundancia.
Según Zvibel, cada solicitud activa un cálculo de prefill, que es intensivo en recursos. Sin embargo, es posible optimizar este proceso al almacenar y reutilizar los datos ya calculados, reduciendo así el costo computacional en interacciones prolongadas.
Posicionamiento competitivo de Weka
En el competitivo mercado de almacenamiento, Weka ha comenzado a destacar entre las empresas que se han reposicionado para servir las necesidades de inteligencia artificial. Steve McDowell, analista en NAND Research, señala que Weka ofrece una de las implementaciones más avanzadas de caché en el mercado, subrayando su enfoque proactivo para resolver problemas inherentes a la eficiencia de la GPU.
Con un crecimiento constante de iniciativas empresariales que utilizan IA, la capacidad de Weka para presentar soluciones tangibles y efectivas podría no solo impulsar su crecimiento, sino también significar un cambio significativo en cómo las empresas gestionan su infraestructura de datos en el futuro. La orientación hacia la eficiencia y la reducción de costos posiciona a Weka como una opción atractiva para las organizaciones que buscan optimizar sus operaciones en un entorno donde los recursos son escasos.