La rápida adopción de agentes de inteligencia artificial (IA) en las empresas está acompañado de un cambio en la confianza hacia los sistemas de evaluación automatizados. Un reciente estudio indica que, aunque la confianza en estas tecnologías aumentó, las empresas que han sufrido fallos en producción están ahora apremiadas a eliminar la intervención humana en decisiones de despliegue.
En un análisis realizado a 108 empresas durante julio, el 13% de los encuestados manifestó una confianza en la evaluación automatizada, un notable incremento respecto al 5% del mes anterior. No obstante, el 49% de los encuestados reportó que un agente de IA que había aprobado las pruebas internas generó posteriormente problemas visibles para los clientes, una cifra que apenas ha variado desde junio.
A pesar de un aumento en la confianza general, la discrepancia entre la autonomía otorgada a los agentes y la capacidad de las empresas para verificar su rendimiento se ha agrandado. Por ejemplo, de las empresas que experimentaron fallos tras la aprobación de un sistema, solo el 4% confió plenamente en las evaluaciones automatizadas. En contraste, el 24% de aquellas que no vivieron incidentes similares expresaron total confianza, lo que indica una clara relación entre las experiencias negativas y la desconfianza hacia la automatización.
Una transformación en la evaluación de IA
Empresas que enfrentan este dilema están recurriendo a soluciones para la monitorización de errores y mitigación, como las que ofrece Raindrop.ai. Su CTO, Ben Hylak, señala un notable cambio hacia enfoques de detección de anomalías en lugar de depender exclusivamente de pruebas exhaustivas, especialmente a medida que los sistemas se vuelven más complejos.
La encuesta también reveló que las empresas con más de 100 empleados están adoptando un modelo de despliegue sin necesidad de aprobación humana en su infraestructura. Alrededor del 67% de las empresas en general están permitiendo cambios automáticos en el sistema en ciertas circunstancias de bajo riesgo, y este porcentaje es aún mayor entre aquellas que han tenido experiencias negativas previas, donde el 85% está buscando implementar este modelo. En contraste, solo el 11% de las empresas que no han tenido incidentes siguen rechazando la automatización total del despliegue.
Este movimiento hacia la autonomía se presenta como un reflejo de la madurez en el manejo de la IA. Las organizaciones que manejan más agentes y flujos de trabajo críticos están más preparadas para enfrentarse a fallos y poseen la infraestructura necesaria para un despliegue automatizado.
Monitoreo de calidad en producción
Aunque la mayoría de las empresas están enfocadas en la funcionalidad de los sistemas, existe una clara falla en la monitorización de la calidad de los resultados producidos. En julio, solo el 26% de las empresas utilizaban mecanismos automatizados para verificar la calidad de las respuestas en tiempo real, lo que deja expuesto un área crítica que requiere atención. La monitorización se centra más en la operatividad que en la precisión del output, destacando una clara necesidad de desarrollar métodos más robustos para detectar los errores después de la implementación.
La emergencia de un mercado para la evaluación independiente de agentes está tomando forma, donde plataformas dedicadas están ganando terreno. OpenAI, Confident AI y Braintrust lideran en la adopción de herramientas de evaluación, lo que sugiere que la evaluación de IA se está convirtiendo en una capa esencial dentro del software empresarial.
Conclusiones sobre la confianza en la automatización
A pesar de que el estudio muestra una evolución en la confianza hacia los sistemas automatizados, persiste el desafío fundamental de la calidad en producción. Casi la mitad de las empresas siguen reportando problemas de evaluación que no se reflejan en los resultados, lo que pone de relieve la falta de protecciones adecuadas en el proceso de despliegue.
De este modo, aunque el entorno de evaluación de IA está evolucionando, las empresas deben concentrar esfuerzos en implementar mecanismos que aseguren la calidad y la precisión de sus sistemas post-despliegue. La combinación de evaluación automatizada y revisión humana podría ser el camino hacia un futuro más confiable en el uso de IA en la industria.