La industria de la inteligencia artificial empresarial enfrenta un reto significativo: la discrepancia entre la implementación de agentes de IA y su efectividad real en producción. Según datos de Cisco, un notable 85% de las empresas están probando agentes de IA, pero solo un 5% ha logrado llevarlos a un entorno de producción. Este desajuste fue analizado recientemente por Bryan Silverthorn, Director de Autonomía AGI en Amazon, quien compartió su visión sobre los factores que contribuyen a esta brecha durante un evento tecnológico.
Desempeño de los Agentes de IA: Más Allá de las Evaluaciones Internas
Durante su intervención, Silverthorn destacó un problema común: los agentes tienden a sobresalir en evaluaciones internas pero a fracasar en situaciones reales. Un ejemplo que ilustró esta problemática fue el caso de un cliente que implementó un agente para la extracción de números de serie. Aunque al principio funcionó correctamente, tras dos meses comenzó a fallar en la lectura de algunos números, debido a una variabilidad en el comportamiento del codificador visual que no era evidente para los humanos.
Este episodio subraya la importancia de un enfoque más riguroso en la medición de resultados y no solo en la mejora de modelos. Silverthorn enfatizó que es crucial identificar las dimensiones de variabilidad y adaptar la rigurosidad de la medición al riesgo que implica la aplicación. La investigación de VentureBeat señala que muchas empresas implementan agentes aprobados en evaluaciones internas, pero que no cumplen con las expectativas de los clientes reales, lo que se traduce en una desconexión significativa entre el desempeño esperado y el real.
La Filosofía Interna de Amazon en el Manejo de Agentes Autónomos
Una de las ideas más destacadas por Silverthorn fue el enfoque cultural adoptado en el laboratorio AGI de Amazon: los agentes son denominados «internos». Esta figura simbólica resalta la dualidad de los agentes, que son poderosos, pero también pueden ser impredecibles. Silverthorn argumentó que gestionar estos agentes demanda habilidades de administración más que técnicas, incluyendo reflexionar sobre los posibles errores y establecer medidas de respaldo.
El equipo de su laboratorio ha encontrado valor en aceptar ciertos errores de los agentes a cambio de una mayor velocidad en la investigación, equilibrando la experimentación constante con la aceptación de los riesgos asociados.
Consejos para Empresas Antes de la Implementación a Gran Escala
Silverthorn también fue claro sobre las limitaciones actuales de la tecnología de IA. A pesar de que Amazon utiliza inteligencia artificial para mejorar continuamente sus modelos, la plena autonomía en el autoaprendizaje aún está lejana. Para empresas que se encuentran atascadas en la fase de piloto, el cambio de mentalidad es fundamental. En lugar de buscar soluciones que funcionen de manera impresionante una sola vez, deben enfocarse en la capacidad del agente para repetir con precisión esa tarea miles de veces seguidas.
El futuro acompañará a aquellos que no solamente cuenten con los agentes más inteligentes, sino que tengan los mejores gestores que entiendan y manejen eficazmente las complejidades de la IA en entornos de producción.