La reciente reducción de precios del modelo V4-Pro de DeepSeek en un 75% parecía ser una buena noticia para los desarrolladores y proveedores de inteligencia artificial (IA) en el sector empresarial. Sin embargo, se ha vuelto evidente que la disminución de precios no garantiza automáticamente márgenes de beneficio más saludables. Esto se debe a un fenómeno conocido como la amplificación de tokens, donde los sistemas de agentes consumen tokens a un ritmo mucho más rápido que la caída de precios.
Tradicionalmente, la economía del software ha mostrado que los costos de infraestructura se reducen con el tiempo, mientras que las aplicaciones se vuelven más sofisticadas. Se suponía que la IA seguiría esta misma trayectoria; sin embargo, esta suposición ha comenzado a desmoronarse. En lugar de una simple invocación por parte de un chatbot para cada pregunta, un agente transforma una sola consulta en múltiples etapas de planificación, recuperación de datos, uso de herramientas y verificación, lo que lleva a un costo significativamente más alto de inferencia.
Las cifras revelan el alcance del problema. En un entorno donde, por ejemplo, una única consulta de agente puede implicar un incremente considerable en el uso de tokens, las empresas se están enfrentando a costos operativos que han superado sus expectativas iniciales. La iniciativa de OpenAI de ofrecer créditos en API por valor de $2 millones a cada startup de Y Combinator resalta esta realidad: el costo de operar empresas nativas de IA está creciendo frenéticamente.
La amplificación de tokens
El modelo de chatbot tradicional se caracteriza por un ratio de entrada a facturación de aproximadamente 1:5. Sin embargo, en contrastes, un agente multi-etapa utilizado en procesos como soporte al cliente o ventas puede tener un ratio que excede 1:700. Esto significa que cada consulta del usuario no solo genera respuestas, sino que también incurre en múltiples costos, debido a las operaciones subyacentes necesarias para construir la respuesta.
Por ejemplo, una consulta sencilla puede llegar a activar hasta siete operaciones facturables, acumulando rápidamente el costo de tokens asociados. A tal punto que, en casos de alto volumen de consultas, los gastos pueden alcanzar cifras de seis dígitos mensuales para cualquier funcionalidad empresarial B2B. Esta realidad desafía la noción de que las nuevas capacidades de procesamiento económico se traducen en beneficios directos.
El colapso del modelo de negocio existente
El modelo predominante de fijación de precios para la IA empresarial ha sido el modelo de SaaS basado en el número de usuarios. Este modelo presupone un costo por usuario relativamente predecible. Sin embargo, la ampliación de tokens rompe esta suposición. Un usuario que realice solicitudes frecuentes puede incurrir en costos de inferencia que superan su suscripción mensual, lo que ocasiona márgenes negativos para los proveedores.
Los informes más recientes han comenzado a arrojar luz sobre la discrepancia entre las capacidades prometidas y las entregadas por grandes empresas como Salesforce, lo que refleja un cambio en las expectativas del mercado. Tal como señala Bryan Catanzaro de Nvidia, los costos de computación están superando con creces el gasto en personal. Esta dinámica pone de manifiesto la desconexión entre el uso de agentes y la expansión de márgenes, algo que se había considerado una posibilidad remota hasta ahora.
Respuestas técnicas y estrategias de supervivencia
Frente a esta crisis, las empresas deben adoptar un enfoque proactivo. Las medidas clave que determinarán el éxito son:
- Volverse conscientes del costo de inferencia: Es crucial hacer un seguimiento del costo de inferencia por función y por consulta.
- Presupuestar como un comprador de medios: Establecer límites de costo por consultas y alertar sobre excedentes es vital.
- Tratar el enrutador como infraestructura principal: La gestión de costos es tan esencial como el balanceo de carga en la arquitectura tecnológica.
- Auditar los prompts regularmente: Revisa las solicitudes de los sistemas para evitar sorpresas financieras.
- Negociar compromisos de volumen tempranos: Los proveedores ofrecen descuentos significativos para compromisos a largo plazo.
En conclusión, la transformación subyacente en la economía de la inteligencia artificial no radica en su elevado costo, sino en el hecho de que la amplificación de tokens está sobrepasando las reducciones de precios. La arquitectura y la decisión de optimización financiera en tiempo real son más cruciales que nunca. Aquellas compañías que se adapten a esta nueva realidad y que gestionen sus costos de manera inteligente serán las que sobrevivan a la inminente evolución del panorama de la IA en los próximos dos años.