La implementación de agentes de inteligencia artificial (IA) en el entorno empresarial ha traído consigo una serie de desafíos que van más allá de la simple eficacia técnica. Aunque estos sistemas pueden operar de manera eficiente y generar resultados precisos, surge una pregunta crucial: ¿deben tener autoridad para ejecutar acciones específicas en nombre de la organización? Esta disyuntiva está acentuando la necesidad de un marco robusto de gobernanza que defina las capacidades y límites de estos agentes.
En contextos comerciales, se han observado patrones en los que agentes de IA realizan acciones que no poseen la autorización explícita para ejecutar. Un ejemplo claro es el cálculo de reembolsos donde un agente puede determinar la cantidad correcta, pero no existen límites que impidan créditos superiores a lo aprobado por la empresa. Este tipo de incidentes pueden pasar desapercibidos hasta que resulta en un problema más significativo.
Los filtros de contenido, aunque son útiles para bloquear resultados dañinos y proporcionar seguridad, no abordan esta problemática de gobernanza. A medida que los agentes evolucionan de meros copilotos a herramientas autónomas que pueden tomar decisiones, se vuelve crítico establecer derechos de decisión claros. Esto incluye definir qué acciones pueden ejecutar, cuáles requieren autorización y qué limitaciones deben respetar.
La necesidad de modelos de decisión y derechos de autoridad
Un reciente sondeo de la Cloud Security Alliance revela que el 65% de las organizaciones han enfrentado incidentes relacionados con agentes de IA en el último año. Esto subraya la rapidez con la que las operaciones de los agentes pueden superar las estructuras de visibilidad y propiedad diseñadas para el software convencional. Con el tiempo, esta brecha de gobernanza se vuelve más evidente y difícil de ignorar.
El marco de gobernanza de IA de Singapur propone una solución al sugerir un ‘Contrato de Autoridad para Agentes’ antes de que un agente reciba acceso a las herramientas empresariales. Este contrato debe responder a preguntas clave como: ¿quién es responsable del resultado? ¿Qué acciones puede realizar el agente? ¿Qué límites materiales se aplican y cómo se manejan las circunstancias excepcionales?
Clasificación de acciones y optimización del modelo de autoridad
Un modelo efectivo de derechos de decisión debe categorizar cada acción del agente en cuatro resultados: permitir, aprobar, recomendar y denegar. Las acciones de bajo riesgo pueden ser ejecutadas de manera autónoma, mientras que aquellas que implican riesgos adicionales deben ser revisadas y aprobadas por un ser humano. Esta distinción es vital para mantener un equilibrio entre la autonomía del agente y la necesaria supervisión humana.
Además, es crucial que las decisiones de autoridad se realicen en tiempo real, adaptándose a las circunstancias del momento. Por ejemplo, una pequeña concesión de servicio podría ser aceptable bajo condiciones normales, pero requerir aprobación en situaciones excepcionales. Este enfoque dinámico permite que las organizaciones gestionen mejor el riesgo y mantengan un control efectivo sobre las actividades de sus agentes de IA.
Implementación de medidas y supervisión adecuada
Una vez que los agentes están en producción, la precisión de las respuestas no debería ser la única métrica de éxito. Las empresas deben monitorear indicadores como la tasa de anulación de decisiones por parte de humanos, precisiones en las escalaciones de riesgo y la frecuencia de intentos de acciones no autorizadas. Estos análisis proporcionan una visión más amplia sobre la efectividad del modelo de gobernanza implementado.
La pregunta más relevante ya no es cuánto puede pasar a ser autónomo un agente de IA, sino qué está dispuesta a delegar una empresa y cómo se liquidarán esas delegaciones cuando sea necesario. La correcta formulación de un ‘Contrato de Autoridad para Agentes’ puede ser la clave para minimizar riesgos y garantizar que las acciones de los agentes de IA sean siempre coherentes con los objetivos y valores de la organización.