La competencia en el ámbito de la inteligencia artificial continúa intensificándose con el lanzamiento de la versión 5 del Índice de Análisis de Inteligencia Artificial. Esta actualización refleja un avance significativo, ya que ahora el 60% de sus evaluaciones se fundamentan en conjuntos de datos privados, un cambio importante en relación con versiones anteriores. La nueva versión, que se considera la más ambiciosa desde el lanzamiento de la v4 en enero, busca ofrecer una representación más precisa de las capacidades de los modelos en situaciones del mundo real.
Además del Índice de Inteligencia, se ha dado a conocer el Índice de Progreso de Análisis Artificial, que mide la evolución de las capacidades de los modelos a lo largo del tiempo en una escala continua. Estos dos índices se complementan para ofrecer una visión más amplia del rendimiento de los modelos de IA, permitiendo a los usuarios entender mejor el progreso y la situación actual en comparación con modelos lanzados anteriormente.
Nuevas Evaluaciones y Mejoras
Entre las novedades introducidas en el Índice se destacan dos nuevos benchmarks: FrontierCode 2.0 y Terminal-Bench-Science. FrontierCode 2.0 se centra en tareas de programación reales y se califica según si un mantenedor de repositorio aceptaría o no los cambios realizados por el agente, mientras que Terminal-Bench-Science comprende 70 tareas relacionadas con la investigación científica. Ambas evaluaciones puntualizan la necesidad de modelos más robustos y adaptables en entornos complejos.
Entre las mejoras en benchmarks anteriores se destaca HLE-Diamond, que sustituye a Humanity’s Last Exam, ofreciendo una versión refinada con 1,000 preguntas que equilibran razonamiento y conocimiento. Asimismo, AA-Omniscience v1.1 ha sido actualizada para eliminar preguntas ambiguas y errores, así como para incorporar nuevos interrogantes, mejorando así la precisión general del conjunto de datos.
A pesar de las mejoras, se observó que los modelos de pesos abiertos están quedando rezagados. El mejor modelo de esta categoría, Kimi K3.1 Pro, aún se sitúa 12 puntos por detrás del líder, Claude Opus 5.5. Además, los costos por tarea presentan un rango notable, con variaciones que superan las 13 veces entre los mejores modelos. De esta forma, GPT-6.1 Terra resultó ser la opción más económica, mientras que Claude Fable 5.1 tiene un costo muy superior por tarea.
Resultados Clave del Índice
Claude Opus 5.5 ha liderado varias de las nuevas evaluaciones, alcanzando un 68% en HLE-Diamond. Le siguen de cerca otros modelos como GPT-6 Astra y GPT-6.1, lo que resalta la competitividad en el sector. Aún así, no existe un modelo que sobresalga en todos los aspectos, lo que sugiere que todavía queda un amplio margen para el progreso en múltiples áreas de evaluación.
La evaluación Terminal-Bench-Science mostró resultados dispares, con GPT-6 Astra liderando con un impresionante 63%, seguido por Claude Opus 5.5. En general, los resultados reflejan que, a medida que la complejidad de las tareas aumenta, se requiere más esfuerzo y recursos por parte de los modelos, lo que se traduce en un uso considerablemente mayor de tokens por tarea en el Índice.
Esta nueva versión del Índice y su acompañado Progress Index se establecen como herramientas cruciales para entender la evolución de los modelos de IA, permitiendo a desarrolladores, empresas y usuarios realizar comparaciones efectivas y basadas en datos sólidos de desempeño. La creciente sofisticación de estas métricas subraya la importancia de un enfoque dinámico en el desarrollo y evaluación de tecnologías de inteligencia artificial.