El mundo del desarrollo de software está en constante evolución, y la forma en que las startups eligen sus herramientas y servicios puede tener un impacto significativo en su éxito. Recientemente, una serie de experimentos realizados sobre la elección de servicios de terceros entre diferentes agentes de codificación nos han ofrecido valiosos insights sobre este proceso crítico.
Metodología de los experimentos
El estudio comenzó con un análisis exhaustivo de miles de repositorios de código en GitHub, focándose en estadísticas relacionadas con lenguajes de programación, marcos de trabajo, plataformas de despliegue, tamaños de equipos y antigüedad de los códigos. Este enfoque garantiza que los datos obtenidos estén alineados con las tendencias de startups tecnológicas, que tienden a utilizar más repositorios de código abierto que las grandes empresas.
Se establecieron 75 repositorios en diez lenguajes diferentes, cada uno con nombres de empresa ficticios y estructuras de código manipuladas para realizar experimentos controlados. A partir de 16,893 ejecuciones, se seleccionaron 5,292 sesiones consideras válidas para publicar, abarcando 51 bases de código en 18 sectores distintos.
Los perfiles de los codificadores y sus decisiones
Los experimentos involucraron cuatro perfiles de codificadores que proporcionaron diversas perspectivas y maneras de abordar los desafíos:
- Vibe-coder: Describe síntomas e ideales sin mencionar herramientas específicas.
- Ingeniero junior: Menciona el estado deseado junto con la categoría de la herramienta.
- Ingeniero sénior: Es más preciso en sus requisitos y posibles limitaciones.
- Ingeniero en una gran empresa: Aborda aspectos específicos como restricciones y cumplimiento.
Este enfoque permitió observar cómo diferentes agentes de codificación, como Codex, Claude Code y Cursor, tomaron decisiones basadas en fuentes variadas, lo que llevó a discrepancias en sus elecciones de herramientas. Por ejemplo, instrumento como Codex se basó en búsquedas web el 94% de las veces, mientras que Claude Code lo hizo en un 30% de las ocasiones, pero navegando en más páginas.
Hallazgos clave sobre la elección de herramientas
Los resultados del análisis revelan tendencias sorprendentes en relación con la elección de servicios:
- La influencia del contexto del repositorio es esencial, ya que una misma tarea en diferentes lenguajes resultó en elecciones de proveedores de correo electrónico completamente diferentes.
- La mera mención de herramientas populares no garantiza que sean seleccionadas. Por ejemplo, PayPal fue mencionado 139 veces pero solo fue escogido en 15 ocasiones, mientras que Stripe lideró en 124 de esas interacciones.
- La presentación de características adicionales en las páginas de los proveedores puede influir considerablemente en las decisiones. Por ejemplo, Mailgun a menudo perdía frente a Postmark debido a una percepción negativa de su plan gratuito.
Condiciones del mercado y dominancia
El análisis también puso de relieve que algunos mercados están dominados por unos pocos actores, mientras que otros son altamente competitivos. Stripe, por ejemplo, ganó en el 90% de los casos, mientras que soluciones como Neon y Amazon S3 también mostraron un claro dominio en sus respectivas categorías.
La investigación no solo proporciona una panorámica sobre cómo las startups eligen sus servicios, sino que también invita a futuras indagaciones y experimentos en un entorno siempre dinámico y cambiante.