AWS Continuum logra 89 % en CyberGym-E2E, pero con una salvedad

AWS hizo disponible de forma general el jueves Continuum para vulnerabilidades de código. El servicio encuentra y valida errores en los repositorios de un equipo, los contrasta con el entorno de AWS del cliente y abre pull requests con correcciones propuestas.

La cifra principal procede de un benchmark que AWS publicó el 5 de octubre, más de dos semanas antes del lanzamiento. Continuum superó 819 de 920 tareas en CyberGym-E2E, una tasa de éxito de extremo a extremo del 89,0 %, frente al máximo público anterior del 65,9 %. El CEO de AWS, Matt Garman, escribió en X que la IA es "genuinely transformative for defenders" y que Continuum obtuvo una puntuación superior a la de cualquier otro agente de IA en la prueba.

Cómo funciona el benchmark

CyberGym-E2E da al agente 90 minutos para encontrar y corregir una vulnerabilidad en uno de 139 proyectos de código abierto. No dispone de descripción del error, prueba de concepto, registro de fallo ni parche existente. Debe identificar el fallo, provocarlo y producir una corrección que detenga el cierre inesperado sin romper las pruebas existentes. Todas las tareas implican errores de seguridad de memoria en C o C++, lo que deja fuera muchos otros lenguajes y tipos de vulnerabilidad, algo que AWS reconoce.

La evaluación tiene cuatro etapas acumulativas. Continuum encontró y reprodujo un error en el 92,5 % de las tareas, detuvo el fallo en el 89,6 % y mantuvo las pruebas del proyecto en verde en el 89,0 %. La cuarta etapa comprueba si el parche también corrige la vulnerabilidad histórica elegida por el benchmark. Ahí Continuum lo logró en el 37,8 % de las tareas, frente al máximo público previo del 26,2 %.

La salvedad

Al agente nunca se le dice cuál es esa vulnerabilidad histórica; solo debe encontrar y reparar un fallo real. Como un repositorio puede tener varias vulnerabilidades, corregir otra distinta sigue siendo un trabajo útil, lo que ayuda a explicar la diferencia entre ambas puntuaciones. Aún se desconoce el rendimiento de Continuum cuando un equipo le indica una vulnerabilidad concreta.

AWS realizó las pruebas por su cuenta y asegura que Continuum respetó las reglas, incluidos los límites de acceso a internet. También comprobó que el agente no se limitaba a buscar correcciones ya públicas. Con más tiempo que los 90 minutos, la tasa sube al 93,7 %, según AWS. El benchmark y las herramientas son públicos, pero por ahora los resultados son solo de AWS.