Un estudio reciente revela que un significativo 68% de las empresas con más de 100 empleados han experimentado que sus agentes de inteligencia artificial presentan respuestas incorrectas debido a un contexto empresarial deficiente. Este fenómeno se ha observado en el último semestre, donde muchos de estos errores se atribuyen a la falta de información o a información inconsistente en lugar de defectos en los modelos utilizados.
Más particularmente, de las empresas afectadas, el 37% ha reportado que estas fallas no han sido incidentales, sino recurrentes, lo que sugiere una deficiencia estructural en cómo se integra el contexto empresarial en los sistemas de IA. Esto implica que la raíz del problema no radica únicamente en el rendimiento del modelo de IA, sino que es un reflejo de la calidad de los datos y la gobernanza en torno a ellos.
El Papel de la Capa Semántica
Un hallazgo crucial del estudio apunta a que las empresas que han implementado o están construyendo una capa semántica de gobernanza están reportando fallas en el contexto a un ritmo del 50%, en comparación con el 21% de aquellos que no la tienen. Este dato sugiere que la capa no está causando los fallos, sino que los está revelando. En efecto, aquellas organizaciones sin esta capa tienden a no identificar tantas fallas, lo cual podría indicar una falta de visibilidad sobre sus problemas de contexto.
Más del 80% de las empresas están comprometidas de alguna manera con la idea de tener una capa semántica gobernada, ya sea funcionando en producción, en fases piloto o en evaluación. Sin embargo, el dato alarmante es que incluso con la implementación de estas soluciones, la frecuencia de fallas relacionadas con el contexto sigue siendo alta.
Retos en la Infraestructura de Recuperación
La investigación también muestra que las empresas continúan utilizando principalmente sistemas de recuperación (RAG) como su fuente primaria de contexto. Estos sistemas, sin embargo, han demostrado no ser infalibles y están cargando con un gran número de errores en las respuestas generadas. Dentro de las empresas que dependen de la recuperación como su principal fuente de contexto, un 87% ha reportado fallas relacionadas, destacando que la calidad del sistema de recuperación tiene un impacto directo en la calidad de las respuestas que los agentes de IA proporcionan.
Por otro lado, aunque las soluciones de búsqueda de OpenAI y Google son ampliamente utilizadas, esta preferencia no se traduce en una dominación absoluta, ya que siguen existiendo otras alternativas que están siendo evaluadas por las empresas. Las métricas indican una marcada inclinación hacia la diversificación en la elección de tecnologías para la recuperación, con un 30% de las empresas optando por un enfoque híbrido y un 29% considerando múltiples arquitecturas según el caso de uso.
Implicaciones para la Toma de Decisiones
En el ámbito de la compra y selección de tecnologías de recuperación, el control de acceso y la facilidad de ingestión de datos han llegado a ser criterios clave en la decisión de compra, cada uno reportado por un 24% de las empresas. Sin embargo, a nivel de métricas de éxito, un 38% de las organizaciones evalúan sus sistemas principalmente en base a la precisión de respuesta, reflejando una nueva priorización hacia la calidad de la información que se integra a sus sistemas de IA.
Finalmente, este estudio sugiere que las organizaciones que han estado expuestas a fallas repetidas son las que más están avanzando hacia la implementación de capas contextuales gobernadas. La estructura de la información es crítica y, al mismo tiempo, es evidente que la mayoría de las empresas aún enfrenta desafíos significativos para obtener la calidad de contexto que necesitan sus agentes de inteligencia artificial.