La evolución de la inteligencia artificial (IA) en el ámbito de la evaluación y el monitoreo de agentes conversacionales está transformando la manera en que las empresas abordan el desarrollo de sus productos. Recientemente, durante el evento VB Transform 2026, líderes de la tecnología discutieron el cambio significativo en los modelos de evaluación, alejándose del análisis de rastros individuales hacia comparaciones más amplias entre cohortes de usuarios. Este enfoque busca corregir la desconexión entre resultados positivos en evaluaciones aisladas y la realidad de un producto defectuoso.
Nuevas métricas de evaluación: más allá del deterioro del producto
Las métricas de evaluación se están redefiniendo como una parte integral del proceso de desarrollo de productos, funcionando como un documento vivo de especificaciones de requisitos. Harrison Chase, CEO de LangChain, enfatizó que muchas organizaciones se enfrentan a lo que se denomina «parálisis de evaluación», donde la necesidad de cumplir con rigurosos criterios de evaluación impide el lanzamiento de productos. En lugar de esperar la perfección, recomienda un enfoque más ágil: lanzar el producto y seguir iterando basándose en la retroalimentación del usuario.
Emmanuel Turlay, director de ingeniería en CoreWeave, aportó otro punto de vista, subrayando que alcanzar una cobertura total en las pruebas no garantiza la eliminación de errores. Las métricas tradicionales pueden no capturar todos los fallos relevantes, por lo que abogó por un monitoreo amplio y continuo que detecte problemas en tiempo real, permitiendo a los equipos entender qué aspectos necesitan mejoras.
A la búsqueda del análisis contrastivo
Hui Zhang, CTO y cofundador de Conviva, criticó el método convencional que evalúa cada traza de forma aislada, sugiriendo en su lugar el análisis contrastivo. Este enfoque, que compara cohortes de usuarios con una línea de base, ayuda a identificar problemas específicos que pueden pasar desapercibidos al evaluar interacciones individuales. Por ejemplo, un análisis de cómo los usuarios interactúan con un agente conversacional puede revelar tasas inusuales de seguimiento en determinadas categorías de productos, indicando falencias que podrían solucionarse con ajustes en el sistema.
Optimización de modelos de evaluación
Una vez que se identifican los problemas, surge la pregunta de qué modelos de IA utilizar para supervisar estos aspectos en el futuro. Turlay sugirió comenzar con modelos de alta capacidad para probar la viabilidad de las tareas, y luego descender a modelos más simples para tareas menos complejas. Este enfoque permite una optimización de los recursos, acumulando insights relevantes al identificar patrones en el comportamiento del usuario.
LangChain ha llevado esta idea más allá, ajustando su propio modelo para reconocer señales de errores percibidos por los usuarios. Este modelo refinado ha demostrado ser útil y mucho más económico en comparación con otros, lo que subraya la importancia de la adaptación y la personalización en el desarrollo de herramientas de IA.
El papel del humano en la supervisión de IA
A pesar de los avances significativos en la automatización, la necesidad de intervención humana no desaparece. La supervisión humana sigue siendo crucial en la validación de modelos, especialmente en sectores sensibles como el derecho, las finanzas y la salud. Turlay enfatizó que la responsabilidad final recae en las personas, quienes deben asegurar que el modelo cumpla con los estándares requeridos antes de su implementación.
Por otro lado, Chase subrayó que la interacción humana no solo actúa como un sistema de seguridad, sino que también es fundamental para fomentar la confianza en los sistemas de agentes conversacionales. El proceso de aprendizaje y la memoria en estos sistemas se refuerzan mediante las interacciones humanas, lo que contribuye a un desarrollo continuo y robusto de la inteligencia artificial.