En el escenario actual del uso de inteligencia artificial, las empresas están concediendo más libertad a sus agentes automatizados, mientras la confianza en los procesos de evaluación automatizados está disminuyendo. Un reciente estudio sobre empresas, que involucró a 157 participantes de organizaciones con un número significativo de empleados, revela que el 50% de las empresas ha implementado un agente de inteligencia artificial o una función de modelo de lenguaje que, aunque pasó las evaluaciones internas, resultó en fallos en el contacto con el cliente. De este grupo, un 25% experimentó este tipo de errores más de una vez.
A pesar de estas complicaciones, la automatización no se está desacelerando. Según los datos, un 66% de los encuestados ya permite despliegues de producción sin revisión humana o están diseñando sistemas que lo permitirán en un plazo de 12 meses. Sin embargo, solo el 5% de los encuestados confía plenamente en las evaluaciones automatizadas que guiarían estas decisiones de lanzamiento. Este fenómeno se conoce como la brecha de evaluación: el nivel de autonomía está avanzando más rápido que la garantía de seguridad.
Desafíos en la evaluación de agentes de IA
Tradicionalmente, las pruebas de software evalúan si una entrada generará una salida esperada. Sin embargo, la evaluación de agentes es más compleja, ya que estos pueden decidir su propio camino, llamar a diversas herramientas y responder de manera variable. Un agente puede tomar decisiones correctas en diferentes aspectos y aun así dar lugar a resultados erróneos. Por ejemplo, puede recuperar información correcta de una cuenta pero actualizar el campo equivocado o enviar solicitudes sin las aprobaciones necesarias.
La falta de alineación con resultados reales es citada como la razón principal para desconfianza en la evaluación automatizada por un 29% de los encuestados. Otros motivos incluyen sesgo e inconsistencia (21%), falta de explicabilidad (18%) y preocupaciones sobre la privacidad (17%). Esto sugiere que las empresas están cada vez más conscientes de las limitaciones de las evaluaciones automatizadas y su incapacidad para predecir resultados en circunstancias del mundo real.
Medición de consistencia en el desempeño de agentes
Un resultado exitoso en una prueba no garantiza que el agente operará de manera confiable en situaciones reales. La distinción entre el éxito ocasional y la consistencia es crucial para los flujos de trabajo que implican interacción con clientes o procesos operativos. Las empresas deben considerar la repetibilidad como una métrica vital, lo que implica ejecutar el mismo escenario múltiples veces y variar condiciones y contextos para asegurar resultados acertados de manera constante.
Además, cada incidente en producción debería convertirse en una prueba de regresión permanente. Los errores en la atención al cliente, llamadas fallidas y otros malos resultados deben reintegrarse en las suites de pruebas antes del despliegue, fomentando un ciclo de mejora continua.
Autonomía en función del riesgo
El avance hacia una operación totalmente autónoma no debe ser generalizado; debe basarse en la fiabilidad demostrada y estar limitada a decisiones de bajo riesgo. Las acciones que impliquen bajo riesgo, como la redacción de resúmenes internos, pueden tolerar una mayor autonomía, mientras que transacciones financieras, comunicaciones con clientes y cambios en el control de acceso requieren umbrales más estrictos y mecanismos de escalado humano claros.
Las grandes empresas, con más de 2,500 empleados, están implementando estos sistemas de manera más rápida en comparación con las más pequeñas. Sin embargo, también enfrentan el desafío de que una mayor autonomía no elimina la incertidumbre. Convertir la incertidumbre en decisiones automatizadas en producción puede resultar problemático.
El mercado seguirá presionando hacia mayores niveles de autonomía, impulsado por incentivos económicos tangibles. Las organizaciones que mejor se posicionen no serán necesariamente las que eliminen más rápidamente el elemento humano, sino aquellas que valoren la repetibilidad y las pruebas de regresión tanto como la velocidad de despliegue.