En un ecosistema tecnológico en constante evolución, la necesidad de establecer métricas precisas y confiables se ha convertido en un imperativo para las empresas de inteligencia artificial. Con la proliferación de modelos avanzados, el benchmarking ha adquirido relevancia como un medio para validar las capacidades de estos sistemas y ayudar a los clientes a discernir qué soluciones cumplen con sus promesas. Sin embargo, muchas de las metodologías de evaluación existentes ya no son adecuadas para medir la evolución de los modelos modernos.
Vals, una startup emergente fundada en 2024, se ha propuesto transformar este panorama insatisfactorio. En menos de dos años, ha logrado posicionarse como un referente en la industria tecnológica. Recientemente, la empresa recaudó 40 millones de dólares en una ronda de financiamiento Serie A, liderada por Andreessen Horowitz, tras un estimado crecimiento acelerado desde su ronda semilla, que contó con la participación de 8VC y Bloomberg Beta.
Su cofundador, Rayan Krishnan, de tan solo 25 años, ha acumulado experiencia relevante tras realizar prácticas en Palantir y colaborar con Microsoft en la renombrada división de inteligencia artificial de Stanford. Krishnan afirmó que la idea de Vals surgió a raíz de observar cómo las métricas de benchmarking se quedaban atrás frente a los avances en el campo. «Estábamos viendo cómo nuevos modelos muy capaces llegaban rápidamente al mercado, y los benchmarks académicos no estaban a la par», apuntó.
Lo que distingue a Vals de otros sistemas de evaluación es su enfoque en la medición del impacto real de los modelos. En lugar de utilizar pruebas genéricas de conocimiento público, la startup se centra en evaluar las capacidades de los modelos para llevar a cabo tareas complejas específicas de sectores como el derecho, las finanzas y la programación. «Estamos viendo si estos modelos pueden producir trabajos de calidad comparable a la de un humano», destacó Krishnan.
Un nuevo enfoque en el benchmarking de IA
Vals tiene como meta no solo analizar los resultados positivos, sino también las implicaciones negativas de la implementación de estos modelos en la sociedad. Este enfoque integral busca prever situaciones potencialmente problemáticas si los modelos se aplican sin control. La startup también ha comenzado a explorar áreas menos convencionales como la salud mental, la ciberseguridad y la interpretación de la Convención de Ginebra en contextos de conflicto armado.
El modelo de negocio de Vals puede parecer curioso a primera vista; las empresas pagan por evaluar sus modelos, a menudo con el riesgo de descubrir limitaciones. No obstante, la finalidad es proporcionarles herramientas para mejorar continuamente. Krishnan compara esta dinámica con un estudiante que paga al College Board para rendir el SAT, destacando la importancia de contar con métricas efectivas para la toma de decisiones.
La rápida expansión de Vals es evidente, con ingresos que han aumentado ocho veces en el último año y un equipo que ha pasado de ocho a veinticinco empleados en lo que va del año. La empresa planea mudarse a una oficina más grande y contratar entre diez y quince personas adicionales. Asimismo, ha implementado un programa destinado a ofrecer evaluaciones de modelos a agencias federales.
Krishnan tiene la mirada puesta en el futuro de las empresas de inteligencia artificial y la creciente importancia de un sistema de benchmarking robusto. A medida que más compañías del sector se preparan para salir a bolsa, los estándares de medición de Vals podrían convertirse en un componente clave en el desarrollo de confianza pública y en la manera en que los inversores evalúan las oportunidades en el ámbito de la inteligencia artificial.