En un contexto donde la inteligencia artificial evoluciona a pasos agigantados, la eficiencia en la utilización de recursos se erige como uno de los principales desafíos para los desarrolladores y empresas. Recientemente, Neuralwatt, una startup pionera en el desarrollo de algoritmos de optimización para el uso de recursos en modelos de lenguaje, ha revelado datos interesantes sobre el aprovechamiento de la caché y su impacto en el consumo energético durante la interacción con clientes de distintos modelos de IA.
Un estudio de tráfico mensual en la nube de Neuralwatt ha mostrado que, para ciertos modelos de lenguaje, el porcentaje de entradas que no se sirven desde la caché oscila entre el 1.6% y el 11.1%. Esto es significativo, ya que cada disparo de caché perdido puede duplicar el consumo energético de una solicitud. En el modelo GLM-5.3, se estima que una solicitud sin caché utiliza hasta 2.5 veces más energía que una que hace uso efectivo del sistema de caché.
Una de las observaciones más reveladoras es que la profundidad de las sesiones puede incrementar considerablemente el costo de las ausencias de caché. Cuando se superan los 128,000 tokens, los sesionistas que reescriben más de la mitad de su entrada original enfrentan costos añadidos que equivalen al trabajo de precomunicación de hasta 600 turnos normales, generando por ende demoras notables en el tiempo de respuesta.
El papel del cliente en la eficiencia energética
En el estudio, se analizó la forma en que la estructura del cliente –es decir, la herramienta o aplicación que interactuaba con el modelo– determina la eficiencia energética. Un hallazgo clave es que un cliente a un 97% de tasas de caché envía tres entradas no cacheadas por cada cien, mientras que otro a un 92% genera ocho entradas no cacheadas, aumentando así el trabajo de prellenado en un 2.7. Para Neuralwatt, este análisis es fundamental, ya que la mayoría del tráfico proviene de agentes que generan más entradas que salidas, lo que significa que optimizar el manejo de entradas puede resultar en mejoras significativas en la eficiencia operativa.
La capacidad de la caché también se ve afectada por la frecuencia de modificaciones en los mensajes enviados por el cliente. Por ejemplo, cambios en el mensaje inicial pueden disparar una recomputación completa del resto del mensaje, incrementando el costo energético total. En este sentido, es notable cómo prácticas simples en el diseño del software pueden incidir de manera directa en la sostenibilidad de los tratamientos de datos.
Mejoras a considerar en el diseño de aplicaciones de IA
Neuralwatt ha proporcionado diversas recomendaciones para los desarrolladores que configuran harnesses o herramientas de interacción con modelos de lenguaje. Se sugiere mantener la estructura del mensaje inicial constante y agregar nuevas informaciones al final, evitando que cambios en puntos críticos interrumpan la eficiencia del acceso a la caché. También se aconseja no incluir datos variables, como fechas o estados de sistema, en la estructura del mensaje inicial.
Llevar a cabo una evaluación del costo energético puede ayudar no sólo a optimizar momentos críticos de respuesta, sino también a identificar los patrones de uso en sesiones prolongadas, lo que podría proporcionar una ventaja competitiva en un mercado en rápida evolución. En última instancia, la eficiencia en el uso de energía en IA no es solo una cuestión operacional; representa un avance hacia un entorno tecnológico más sostenible.
A medida que el acceso a tecnologías de IA se expande, la comprensión y la gestión eficiente de la energía se tornan cruciales para el futuro de las startups en este campo. Las prácticas recomendadas por Neuralwatt son un paso hacia una mayor eficacia y sustentabilidad en el desarrollo y utilización de modelos de lenguaje inteligentes.