En el mundo del emprendimiento y la innovación tecnológica, los sistemas de generación de recuperación aumentada (RAG por sus siglas en inglés) están cambiando la manera en que se manejan decisiones críticas en entornos regulados. Sin embargo, confiar en un modelo de lenguaje grande (LLM) para resolver situaciones ambiguas puede resultar problemático cuando se debe justiciar una decisión meses después de que fue tomada. En este contexto, se están explorando arquitecturas de cascada como una alternativa más eficaz y segura.
El costo oculto de depender únicamente de LLMs
El uso de LLMs parece atractivo: su capacidad para manejar múltiples casos de uso reduce la necesidad de componentes adicionales y acelera el proceso de adaptación. Sin embargo, este enfoque puede presentar diversos desafíos, especialmente en áreas donde la transparencia y la audibilidad son imprescindibles.
Primero, la auditoría se convierte en un reto. Simplemente afirmar que «el modelo decidió basándose en el contexto recuperado» no es suficiente. Se requiere un camino de decisión que pueda ser desglosado por un ser humano sin necesidad de ejecutar nuevamente el modelo.
Además, los costos al escalar también son preocupantes. En situaciones donde un sistema maneja decenas de miles de casos diariamente y cada uno requiere una consulta al LLM, los gastos operativos y la latencia pueden dispararse. Esto difiere considerablemente de las lógicas basadas en reglas.
Por último, la deriva del modelo afecta a los casos simples. Aunque los LLMs son competentes en juicios sutiles, pueden ser inconsistentes en decisiones que deberían ser determinísticas. Un caso que debería resolverse de manera clara no debería depender del «estado de ánimo» del modelo de lenguaje.
El enfoque de cascada
La solución a estos problemas es transformar la forma en que se utiliza el LLM: en lugar de ser la primera línea de defensa, debe considerarse como un camino de escalamiento. Este enfoque implica una tubería en tres etapas.
La primera etapa es determinística. Aquí se resuelven coincidencias exactas y comparaciones estructuradas sin invocar ningún modelo. Esta fase puede procesar la mayoría de los casos, asegurando que todas las decisiones sean explicables y sin ambigüedades.
La segunda etapa implica un sistema de recuperación que extrae la evidencia específica que pueda aclarar dudas. Los documentos contextuales o decisiones previas de revisores sobre casos similares son ejemplos de lo que se puede incluir. Si la recuperación falla, incluso el mejor LLM no logrará ofrecer una respuesta correcta.
Finalmente, en la tercera etapa es donde se invoca al LLM, pero solo para los casos que no se resolvieron en las fases anteriores. Esta reestructuración no solo puede reducir los costos de inferencia hasta seis veces, sino que también mejora la consistencia en los resultados.
Diseño del prompt para riesgos asimétricos
Cuando un caso llega a la etapa del LLM, es común recurrir a un prompt neutral. Sin embargo, en clasificaciones de alto riesgo, este enfoque puede resultar inadecuado. Es fundamental que se consideren las diferencias en los tipos de errores; un fallo que pase por alto un caso crítico tiene consecuencias mucho más graves que una clasificación incorrecta que solo consuma tiempo.
Implementar un «prompt de riesgo asimétrico» aclara al modelo cómo debe tratar la incertidumbre. Este enfoque debe incluir ejemplos de ambos tipos de errores y sus consecuencias, además de solicitar un puntaje de confianza en lugar de una simple respuesta binaria. Este puntaje se convierte en un segundo punto de cascada; cualquier caso con un puntaje por debajo de un umbral específico debe ser revisado por un humano.
Evaluación y mejora continua
Las métricas estándar para evaluar RAG no están diseñadas para este tipo de uso, por lo que es necesario hacer adaptaciones. La calidad de la recuperación debe analizarse por separado de la precisión de la clasificación final. Esto asegura que, aunque la recuperación sea excelente, no se pase por alto una mala decisión final debido a un mal uso del LLM.
Además, es vital contar con un conjunto de evaluación que incluya una sobre representación deliberada de los casos que llegan a la tercera etapa, donde verdaderamente se pone a prueba el juicio del sistema.
Un ciclo de retroalimentación que devuelva resultados confirmados a la base de datos de recuperación también es crucial. Sin esta mejora continua, el sistema puede seguir cometiendo las mismas faltas sin corregirlas.
Lecciones importantes para el futuro
La tentación de utilizar el modelo más capaz para cada decisión es comprensible, pero en sectores donde los errores pueden tener consecuencias graves, es esencial definir qué aspectos nunca deben ser gestionados por el modelo. La arquitectura en cascada no es solo una solución a las limitaciones de los LLMs; es un modelo maduro que asegura la defensa de decisiones ante situaciones que requieran justificación.
En resumen, en el desarrollo de sistemas de inteligencia artificial para sectores regulados, una pregunta fundamental debe ser: «¿Qué partes de esta decisión no deberían haber sido trabajo del modelo desde un inicio?»