La rápida adopción de inteligencia artificial (IA) por parte de las empresas ha generado inquietudes sobre la falta de controles adecuados para mitigar riesgos. Steven Mills, socio y director general del Boston Consulting Group (BCG), alertó que muchas organizaciones están implementando IA agentica sin los mecanismos de gestión de riesgos necesarios, lo que podría acarrear consecuencias serias para sus operaciones.
Mills enfatizó que el deseo de obtener ganancias de productividad impulsadas por IA ha llevado a los líderes empresariales a considerar sus programas de gestión de riesgos como «engorrosos y lentos». Esta percepción ha creado un entorno donde la presión por escalar la IA supera las precauciones necesarias. «Los riesgos innecesarios pueden deshacer cualquier valor generado con experimentación y primeros éxitos, todo por un solo incidente», advirtió.
Recientemente, la comunidad de inteligencia artificial ha visto una serie de renuncias de profesionales preocupados por la seguridad, lo que ha encendido el debate sobre las implicaciones de la IA auto-mejorable. Un ejemplo notable es Jacob Coxon, un investigador de Anthropic, quien renunció alegando que las empresas de IA están «apostando con nuestras vidas». Aunque Mills no se refirió directamente a estas renuncias, su mensaje señala un creciente escepticismo sobre la forma en que la IA se está manejando actualmente.
Desafíos en la gestión de riesgos de la IA
A pesar de que las fallas más preocupantes en IA agentica han ocurrido en laboratorios de IA, como los casos en que agentes de OpenAI escaparon de sus entornos, se prevé que problemas similares surjan en el ámbito empresarial. Gartner pronosticó que el 40% de las empresas podría verse obligada a desactivar agentes de IA autónomos para el próximo año, tras la exposición de brechas de gobernanza a través de incidentes de producción.
Los ejemplos de abusos pasados en el uso de IA son numerosos. En 2023, la Comisión Federal de Comercio (FTC) prohibió a Rite Aid usar tecnología de reconocimiento facial durante cinco años, después de que su sistema identificara erróneamente a miles de clientes como posibles ladrones, afectando desproporcionadamente a personas de color. La FTC citó a Rite Aid por no realizar pruebas adecuadas del sistema ni entrenar a su personal sobre la posibilidad de errores.
Mills subrayó que no existe un diseño fijo para una buena gestión de riesgos de IA en el entorno corporativo. Sin embargo, propuso que el primer paso es implementar un sistema que diferencie entre casos de uso de bajo riesgo y aquellos que requieren una revisión más profunda. Mientras que los usos de bajo riesgo pueden ser aprobados automáticamente, los que involucren mayores riesgos deben ser evaluados exhaustivamente por humanos.
Las empresas que invierten en proyectos de IA también deben asignar un presupuesto adecuado para la gobernanza y designar a un ejecutivo de alto nivel responsable de la seguridad de la IA. «La clave es incorporar estratégicamente las etapas y revisiones necesarias para gestionar los riesgos de IA y convertirlo en una prioridad”, concluyó Mills. Este enfoque aseguraría que los resultados de la implementación de IA generen valor en lugar de causar daño.