En el vertiginoso mundo de la inteligencia artificial, las empresas se enfrentan a desafíos significativos al gestionar múltiples modelos que abordan diferentes tipos de tareas. A menudo, un único modelo resulta ineficaz, ya que puede ser excesivamente costoso para preguntas simples o insuficiente para tareas complejas. En este contexto, la automatización del enrutamiento de modelos emerge como una solución viable, y la reciente implementación del enrutamiento dinámico por parte de Snowflake marca un avance significativo en esta dirección.
Con la nueva funcionalidad de su plataforma Cortex AI Gateway, Snowflake permite a las empresas seleccionar una opción de “auto” en lugar de elegir un modelo fijo. Esto significa que el sistema puede dirigir automáticamente cada tarea al modelo que ofrezca la mejor combinación de calidad y costo, con la posibilidad de reducir los costos de tokens hasta en un 300% en ciertas cargas de trabajo. Según pruebas internas de la empresa, se encontró que las preguntas simples a menudo eran manejadas por su modelo más potente, lo que resultaba en respuestas más caras y lentas de lo necesario.
Mecanismos de enrutamiento dinámico
El enrutamiento dinámico se basa en dos mecanismos específicos que optimizan la eficiencia del sistema. En primer lugar, un modelo más pequeño se encarga de intentar una tarea inicial. Si no logra completarla, recurre a un modelo más grande como apoyo. Este enfoque permite que las tareas sencillas sean gestionadas por modelos menos costosos, reservando los recursos más avanzados para situaciones que realmente lo requieran.
El segundo mecanismo involucra un clasificador que analiza el historial de las tareas previas y automáticamente dirige las preguntas sencillas a modelos más simples. Además, los clientes tienen la opción de fijar un modelo, limitando el enrutamiento a un modelo o conjunto específico, lo que añade un nivel de control adicional sobre el proceso.
Control de acceso y gobernanza
Un aspecto destacado del enrutamiento de Snowflake es su integración con los controles de acceso existentes, lo que asegura que la gobernanza de datos se mantenga alineada con el uso de modelos. Esto es especialmente relevante para organizaciones que manejan grandes volúmenes de datos y necesitan cumplir con regulaciones de residencia de datos. Gultekin, vicepresidente de inteligencia artificial en Snowflake, enfatiza que para construir agentes de alta calidad es fundamental establecer un contexto y una gobernanza adecuados.
Snowflake también ha potenciado su oferta mediante la adquisición de Natoma, que introduce más de 100 conectores de acceso gobernados. Esto permite que un agente tenga acceso restringido a herramientas conectadas, mejorando así la seguridad y la privacidad de los datos.
Contexto y eficiencia en el enrutamiento
La capacidad de proporcionar un contexto adecuado es vital para la eficiencia del enrutamiento de modelos. Sin un contexto claro, los modelos deben realizar un proceso exploratorio, que puede resultar costoso y tiempo-consumidor. Con herramientas como Horizon Context y Cortex Sense, Snowflake permite que un modelo más simple asuma tareas complejas al proporcionar la información necesaria de antemano.
Esta estrategia se traduce en un uso más eficiente de recursos al permitir que modelos menos complejos manejen tareas que, de otro modo, requerirían capacidades avanzadas. La incorporación de memoria de agente también juega un papel crucial, ya que permite que el sistema aprenda de interacciones previas y aplique ese conocimiento a consultas futuras.
Un panorama competitivo en el enrutamiento de modelos
A medida que la automatización del enrutamiento se vuelve esencial, otros actores como OpenRouter, Databricks y Nvidia también están desarrollando tecnologías que abordan este mismo desafío. Cada uno tiene su enfoque particular sobre cómo implementar el enrutamiento y cómo garantizar la gobernanza de los datos.
El sector se está dividiendo en diferentes campamentos, donde las empresas deben evaluar no solo la velocidad o el costo del enrutador, sino también qué modelo de gobernanza se ajusta mejor a su estructura organizacional y a su custodia de datos. Esta consideración se vuelve crucial para evitar sorpresas en los costos y garantizar una gestión adecuada de los recursos.
En conclusión, la evolución del enrutamiento de modelos está redefiniendo cómo las organizaciones manejan sus operaciones de inteligencia artificial. Aquellas que entiendan la importancia de la gobernanza y el contexto se posicionarán mejor para aprovechar al máximo los beneficios de la IA sin comprometer la eficiencia ni la seguridad.