El auge de la inteligencia artificial en el ámbito empresarial ha estado acompañado por un enigma en materia de retorno de inversión (ROI). A pesar de que incrementar la capacidad computacional en modelos de IA de última generación resulta atractivo en condición de experimentación, los costos se disparan cuando se trata de implementarlos en entornos productivos. Recientemente, un equipo de investigadores ha propuesto una solución que abre nuevas posibilidades para optimizar el uso de IA en las empresas.
Según el estudio realizado por el equipo de Writer, la clave para reducir los costos operativos radica en mejorar lo que se conoce como la «capa de orquestación». Este componente, esencialmente un arnés de IA, se encarga de gestionar cómo se emplean estos modelos fundacionales en las aplicaciones reales. Al enfocar en las optimizaciones del arnés, se han logrado reducciones significativas en el uso de tokens por tarea, logrando disminuir hasta un 61% el costo por tarea exitosa, sin necesidad de realizar ajustes en el modelo subyacente.
El dilema del tokenmaxxing
En la actualidad, el sector se enfrenta a un fenómeno llamado «tokenmaxxing». Esta práctica, que implica el uso excesivo de ventanas de contexto y el consumo masivo de tokens como alternativa a un diseño sistemático, ha cambiado la forma en que los ingenieros abordan la IA. En lugar de crear flujos de trabajo eficientes, muchos desarrolladores han optado por un enfoque reactivo: generan, ejecutan, fallan y vuelven a intentar cada vez que se encuentran con un error.
Esta práctica, según el CTO de Writer, Waseem AlShikh, es considerada una solución rápida y económica, lo que ha llevado a su adopción generalizada. Sin embargo, el problema radica en que la aparente reducción de precios por token oculta una ineficiencia subyacente. «Los equipos solo observan cómo disminuye el costo por token, mientras que el precio por tarea se eleva», advierte AlShikh, lo que puede convertirse en una trampa silenciosa para los presupuestos de las empresas.
El uso de modelos de frontera premium para tareas simples y la dependencia de la IA como índice de búsqueda son consecuencias directas de esta tendencia. Estas prácticas pueden resultar en un aumento significativo de los costos operativos a largo plazo.
Componentes del arnés y su importancia
El estudio identifica cinco componentes cruciales en la optimización del arnés: almacenamiento de pistas, compacción del historial de interacción, gestión de herramientas, estrategias de recuperación y gestión de errores. Estas áreas son accesibles para los equipos técnicos que buscan mejorar el rendimiento de sus aplicaciones de IA.
A través de varios experimentos realizados en seis modelos de referencia, los investigadores pudieron aislar y medir el impacto de la capa de orquestación. El arnés optimizado disminuyó el costo por tarea de 21 a 12 centavos, además de reducir el número de tokens gastados de 14,2k a 8,8k por tarea.
La capacidad de los subagentes para manejar tareas específicas fue crucial en este proceso. Al alimentarles solo los datos necesarios, se previno el desbordamiento de la ventana de contexto, un factor que podría afectar negativamente la calidad de la respuesta de la IA. A pesar de la reducción del uso de tokens, las tasas de éxito de las tareas se mantuvieron estables, aumentando ligeramente de 78% a 81%.
Recomendaciones para desarrolladores
Los hallazgos del estudio se traducen en una serie de recomendaciones prácticas para los desarrolladores que buscan optimizar sus flujos de trabajo. Se sugiere implementar estructuras específicas en la gestión de consultas que permitan el almacenamiento de prompts, además de gestionar adecuadamente el contexto para evitar una saturación innecesaria.
Es imperativo que los equipos incorporen mecanismos de control de costos en sus sistemas, como presupuestos estrictos por tarea. «Nunca se debe dejar que el modelo administre su propio gasto», señala AlShikh, enfatizando la necesidad de establecer «guardrails» dentro del código que regulen este aspecto crítico.
Si bien la optimización del arnés puede requerir un esfuerzo adicional en las etapas iniciales de desarrollo y exploración, una vez que las aplicaciones escalen a un volumen alto, los ahorros en costos se vuelven significativos.
El futuro del arnés en el entorno empresarial
El fenómeno del tokenmaxxing está llegando a su fin, y las empresas deben adoptar un enfoque más estructurado y eficiente hacia la inteligencia artificial. A medida que los modelos de fundación evolucionen para integrar capacidades más avanzadas de planificación y razonamiento, el papel del arnés cambiará de compensar debilidades a aplicar políticas empresariales.
La futura capa de orquestación no solo servirá para regular el uso de recursos, sino que se convertirá en una herramienta clave para el control y la gobernanza dentro del contexto empresarial. A medida que la tecnología avanza, se espera que el arnés se convierta en un elemento más ágil y esencial, consolidando su importancia en la infraestructura tecnológica de las empresas.