En la actualidad, la implementación y escalado de agentes de inteligencia artificial no se detiene por las limitaciones de los modelos, sino por la infraestructura que los aloja. Esta es la conclusión alcanzada por líderes de empresas como LinkedIn, Walmart y Zendesk durante el evento VB Transform 2026, donde se exploraron las principales dificultades al trasladar estos agentes desde la fase de piloto a producción.
Animesh Singh, director senior de la plataforma e infraestructura de IA en LinkedIn; Desiree Gosby, vicepresidente senior de servicios tecnológicos corporativos en Walmart; y Sami Ghoche, vicepresidente de IA aplicada en Zendesk, compartieron sus experiencias sobre las barreras encontradas durante sus procesos de innovación. A pesar de partir de diferentes situaciones, todos coincidieron en que las limitaciones que enfrentaron no eran problemas derivados de los modelos de IA, sino de la infraestructura diseñada principalmente para el trabajo humano.
Desencadenantes del estancamiento
Cada empresa navegó por diversas formas de estancamiento. En LinkedIn, el primer obstáculo se presentó con Kubernetes, que está diseñado para que los contenedores se desplieguen bajo demanda, un proceso que puede resultar demasiado lento para la agilidad de los agentes. La solución fue pasar de un aprovisionamiento bajo demanda a utilizar grupos de contenedores preaprovisionados, permitiendo un intercambio en tiempo real de las cargas de trabajo de los agentes.
Un desafío mayor surgió cuando LinkedIn permitió que los agentes controlaran su propia orquestación. Aunque una evaluación de cinco puntos parecía atractiva, la presencia de alucinaciones en el sistema complicó la situación. Singh explicó que el problema era estructural, ya que un modelo de lenguaje grande (LLM) evaluando las salidas de otro enfrenta errores similares a los de lo que se evalúa. Para solucionarlo, crearon un control propio, haciendo que aproximadamente el 80% del flujo de trabajo se basara en código predecible, usando LLMs solo para las partes que requieren razonamiento.
Por su parte, Walmart vio cómo un harness para agentes, puesto directamente en manos de los empleados, se popularizó internamente. Gosby identificó a los “desarrolladores ciudadanos” que comenzaron a crear sus propios agentes, lo que, si bien fomentó la innovación, derivó en la duplicación de esfuerzos. La solución no fue restringir la creatividad, sino implementar un sistema de gobernanza para identificar duplicados y promover la mejor versión de cada agente.
En Zendesk, el obstáculo se presentó desde la perspectiva de los datos. Ghoche, quien se unió a la empresa tras la adquisición de Forethought, mencionó que la organización cuenta con 20 mil millones de conversaciones de clientes. Aunque la intuición podría llevar a utilizar esta base de datos para entrenar un LLM, esto no resulta eficaz. En lugar de eso, enfatizó la necesidad de invertir en sistemas de datos robustos que sostengan la infraestructura de IA.
La independencia a través del código abierto
Un aspecto crucial que surgió durante el panel fue el uso de soluciones de código abierto. Los líderes coincidieron en que las empresas deben poseer lo que puedan y recurrir a laboratorios de vanguardia solo cuando su ventaja sea clara. Ghoche destacó que muchos negocios preferirían tener el control de sus modelos, lo que guía la estrategia de Zendesk.
LinkedIn, en su apuesta por la independencia, desarrolló dos subsistemas: un «gateway» de IA, que actúa como interface única para todas las llamadas a modelos, y un subsistema de memoria diseñado para retener contexto sin depender de un proveedor específico. “Cada llamada saliente, sin importar el proveedor, sigue los mismos parámetros, permitiendo un cambio rápido entre diferentes modelos”, explicó Singh.
Walmart, igualmente, construyó un gateway interno que asegura la agnosticidad de los proveedores en tres tipos de carga de trabajo. Gosby afirmó que la elección entre un modelo de frontera y uno de código abierto depende de la efectividad para la tarea en cuestión, enfatizando la importancia de la flexibilidad operativa.
Consejos para la modernización de la infraestructura
Durante la charla, se ofrecieron tres consejos clave, derivados de la experiencia acumulada por los participantes.
1. Invertir en evaluaciones desde el inicio. Ghoche subrayó que la evaluación es fundamental en todos los casos de uso, tanto internos como externos. Un conjunto robusto de evaluaciones permite avanzar más rápidamente.
2. Tomar control del harness desde el principio. Gosby aconsejó empoderar a los empleados desde el inicio, proporcionando la infraestructura adecuada para supervisar la producción de estos agentes.
3. Diseñar para la independencia de modelos y contexto. Singh destacó la necesidad de asegurar que la infraestructura sea flexible y adaptable, permitiendo la reutilización del contexto al desarrollar nuevos modelos o estructuras.
La transición hacia una integración eficaz de la inteligencia artificial no solo implica tecnología avanzada, sino una adecuada adaptación de la infraestructura, diseñada pensando en la velocidad y flexibilidad requeridas en el entorno actual de negocios. Estas reflexiones y estrategias aportan un valioso marco para las empresas que buscan innovar y competir en la era digital.