En un entorno empresarial cada vez más dinámico, la confianza en los sistemas de inteligencia artificial (IA) se ha convertido en un desafío crítico para las organizaciones. Vin Sharma, fundador y CEO de Vijil, destaca que la mayoría de las empresas consideran la confianza en estos agentes como un ejercicio previo al despliegue, olvidando que esta debe ser evaluada constantemente una vez que el agente interactúa con el mundo real. La desconexión entre las evaluaciones iniciales y las condiciones del entorno real puede resultar en grandes fallos en la confianza del agente.
Tradicionalmente, las evaluaciones de IA se centran en la capacidad del agente en un momento específico, lo que no garantiza su desempeño en producción. Según Sharma, existen tres fallas fundamentales en este enfoque: los benchmarks son estáticos y no representan la realidad cambiante; no modelan la realidad de manera precisa, lo que conduce a errores; y al ser públicos, pueden influir en el entrenamiento futuro de los modelos, permitiendo que memoricen los tests en lugar de demostrar capacidades reales.
Redefiniendo la confianza en los agentes de IA
Sharma propone un cambio en la percepción hacia los agentes de IA, adoptando el concepto de «agentes fiduciarios». Este enfoque se basa en la idea de que, aunque los agentes no son conscientes, deben cumplir con un deber de lealtad hacia la organización que los delega tareas. La confianza, entonces, se reevaluaría a partir de un modelo que mida si el beneficio de delegar tareas al agente supera el riesgo potencial de fracaso.
Para medir esta confianza, se deben considerar tres aspectos clave: la fiabilidad del agente bajo diversas condiciones, su capacidad de resistir ataques y la seguridad contenida del daño en caso de fallos. Esto establece un tipo de valoración comparable a una calificación crediticia, pero fundamentada en datos de comportamiento.
El modelo de evaluación de Vijil incluye metodologías basadas en el propósito, perfiles y políticas, adaptando las pruebas a los flujos de trabajo específicos y simulando diferentes amenazas que podrían enfrentar los agentes, desde ataques de hackers hasta desafíos normativos internos.
Desafíos emergentes en la producción
Los fallos en los sistemas de IA suelen manifestarse únicamente en producción, ya que surgen de cambios en el entorno que no se pueden prever en las pruebas pre-despliegue. Conceptos como «data drift» y «concept drift», que se refieren a la evolución de datos y comportamientos en los usuarios, son cada vez más relevantes. Adicionalmente, el uso de sistemas multi-agente introduce nuevos tipos de fallas, donde los agentes pueden actuar de manera colusoria o desviarse de sus responsabilidades originales.
La necesidad de una gestión continua de la confianza en los sistemas de IA se vuelve indispensable, considerando que hoy se prioriza la resiliencia: ¿qué tan rápido se pueden recuperar de las fallas en producción? Esta nueva realidad exige que las organizaciones desarrollen mecanismos sólidos de vigilancia y control, donde la asignación de identidades de carga de trabajo para los agentes puede ayudar a minimizar los riesgos asociados.
Implementando la gestión de confianza
Los pasos operativos para lograr una gestión continua de la confianza incluyen la incorporación de la IA no gobernada a la gestión de riesgos, la creación de identidades de carga basadas en estándares, y la implementación de controles basados en políticas específicas. Dos nuevos indicadores de rendimiento emergen de este enfoque: el tiempo de confianza, que mide cuánto tarda una organización en aprobar un despliegue de producción, y el tiempo de recuperación, que se refiere al lapso entre la detección de una vulnerabilidad y su resolución.
El cambio hacia una cultura de confianza fundamentada en datos en el ámbito de la IA es un paso crucial para las empresas que buscan adaptarse a un entorno tecnológico en constante evolución. Sharma enfatiza que la confianza debe ser un aspecto integrado en la infraestructura de los sistemas, posibilitando una mejora continua y un monitoreo efectivo de la confiabilidad operativa.