El panorama actual del gasto en infraestructura de inteligencia artificial (IA) revela disparidades notables entre la inversión realizada por las empresas y su capacidad para rastrear y gestionar los costos asociados. A medida que el interés por la IA se intensifica, muchas organizaciones se encuentran atrapadas en una «brecha de computación», donde el ímpetu para invertir supera la claridad económica que les permita tomar decisiones informadas.
Un reciente estudio de 107 organizaciones indica que solo el 21% de ellas utiliza IA en producción a gran escala, mientras que la mayoría aún está en fases de experimentación o implementando cargas de trabajo limitadas. Curiosamente, el 45% de las empresas planea evaluar nubes especializadas en IA en el próximo año, un sector que actualmente casi ninguna utiliza, lo que sugiere un deseo de reconfiguración significativa en la forma en que ejecutan sus modelos de IA.
A la búsqueda de nuevas soluciones
Las decisiones de compra están impulsadas principalmente por la integración con infraestructuras existentes y el costo total de propiedad, dejando de lado el precio por token como un factor decisivo. Esto refleja una tendencia entre las empresas a buscar soluciones que se alineen mejor con sus necesidades operativas y financieras. No obstante, el 83% de las empresas reportan una utilización de sus unidades de procesamiento gráfico (GPU) de menos del 50%, lo que pone de manifiesto un uso ineficiente de recursos costosos.
Además, el 64% de las organizaciones ha manifestado su intención de cambiar o agregar proveedores de infraestructura en el próximo año, con un notable 38% preparado para hacer cambios en los próximos tres meses. Este alto índice de rotación es inusual en un sector tan fundamental y sugiere que, si bien las empresas están comprometidas con la inversión en IA, su satisfacción con las soluciones actuales puede ser incierta.
Desconexión entre gasto y medición
El estudio revela que menos de la mitad de las empresas rastrean rigurosamente el costo de su infraestructura de computación, lo que plantea un desafío significativo. Mientras que el costo total de propiedad se destacó como una consideración clave al seleccionar proveedores de IA, muchos se sienten poco preparados para medirlo de manera efectiva. Esto significa que el gasto rápido en infraestructura no está respaldado por un entendimiento sólido de su retorno de inversión.
Asimismo, la transición de una dependencia de la computación GPU hacia la capacidad de memoria se perfila como la próxima gran limitación, aunque muchas organizaciones aún no son conscientes de este cambio. Con el 31% de las empresas indicando que confían en proveedores como Dell para abordar futuras limitaciones, surge una pregunta crítica sobre si estas organizaciones estarán listas para adaptar sus estrategias a medida que evolucionan las demandas del mercado.
En resumen, las empresas están navegando por un terreno inexplorado en cuanto a la implementación de la IA, avanzando en la inversión sin la visibilidad económica necesaria. A medida que la brecha de computación continúa expandiéndose, las organizaciones deben preguntarse si podrán desarrollar las capacidades para medir y gestionar efectivamente sus inversiones en IA antes de que la próxima fase de re-platforming llegue a su puerta.