La inteligencia artificial continúa transformando el paisaje tecnológico, y su evolución en el ámbito de la ciberseguridad es notable. Recientemente, el Instituto Británico de Seguridad en Inteligencia Artificial (UK AISI) y el Centro de Normas e Innovación en IA de EE. UU. (CAISI) realizaron una evaluación conjunta del modelo Kimi K3 de Moonshot AI, lanzado el 16 de julio de 2026 y previsto para una versión de pesos abiertos para finales del mismo mes. Los resultados de esta evaluación revelan tanto las potencialidades como las limitaciones del modelo en el desarrollo de exploits y capacidad cibernética.
Resultados de la Evaluación
La evaluación presentada se basa en resultados preliminares obtenidos de un conjunto limitado de benchmarks públicos y privados. Los modelos cerrados de EE. UU. fueron analizados con salvaguardias del sistema deshabilitadas, permitiendo que se midieran sus capacidades máximas. En contraste, las versiones públicas de estos modelos operan con tales salvaguardias. Por razones técnicas específicas en el entorno de hospedaje de Kimi K3, la evaluación incluyó un conjunto selecto de pruebas cibernéticas.
Tendencias en la Capacidad Cibernética
La capacidad cibernética de los modelos se evaluó utilizando una metodología basada en la Teoría de Respuesta al Ítem (IRT), que permite agregar resultados de múltiples tareas. La puntuación general de Kimi K3 presenta un intervalo de confianza más amplio que otros modelos, dado que se estimó a partir de un único benchmark, conocido como ExploitBench, que se centra en el desarrollo de exploits. Este benchmark es crucial para medir la habilidad de un modelo para progresar en la escala de explotación de software.
Un aspecto relevante de la evaluación es que Kimi K3 obtuvo una puntuación del 32% en comparación con el modelo GLM-5.2, que alcanzó un 24%. No obstante, Kimi K3 no logró desarrollar exploits que alcanzaran la ejecución de código arbitrario (ACE), una métrica crítica en este ámbito, donde ningún exploit fue exitoso en las 41 muestras evaluadas, en contraposición a la media de otros modelos que lograron ACE en 20 de dichas muestras.
Desarrollo de Exploits: ExploitBench
ExploitBench, un benchmark de dominio público desarrollado por la Universidad Carnegie Mellon, evalúa la capacidad de un modelo para avanzar en la explotación de software, cubriendo aspectos como la cobertura de vulnerabilidades y la ejecución de código arbitrario. En las evaluaciones más recientes, Kimi K3 demostró un rendimiento inferior en comparación con modelos más avanzados.
Crédito: CAISI/NIST
Rango Cibernético: «The Last Ones»
La evaluación también incluyó pruebas en el rango cibernético conocido como «The Last Ones» (TLO), que simula un ataque a una red corporativa con múltiples etapas. En esta prueba, Kimi K3 alcanzó, en promedio, el paso 17 de un total de 32, muy por debajo de los modelos líderes que lograron avanzar hasta el paso 28.5.
Sin embargo, en una de las diez pruebas, Kimi K3 logró completar satisfactoriamente el rango TLO, sugiriendo que el modelo cuenta con la capacidad de atacar de forma autónoma sistemas empresariales vulnerables, aunque el entorno de prueba carecía de defensores activos y medidas de seguridad.
Este hallazgo indica que, aunque Kimi K3 presenta ventajas sobre modelos anteriores, su rendimiento en situaciones realistas aún no se compara con los modelos de vanguardia, que manejan tareas complejas con mayor eficacidad, lo que plantea cuestionamientos sobre su aplicabilidad en el mundo real de la ciberseguridad.