AWS Continuum: KI-Agent erreicht 89 % im CyberGym-E2E-Test

AWS hat Continuum für Code-Schwachstellen am Donnerstag allgemein verfügbar gemacht. Der Dienst findet und validiert Fehler in den Repositories eines Teams, prüft sie gegen die AWS-Umgebung des Kunden und öffnet Pull Requests mit Korrekturvorschlägen.

Die zentrale Zahl stammt aus einem Benchmark, den AWS bereits am 5. Oktober veröffentlichte, gut zwei Wochen vor dem Start. Continuum bestand 819 von 920 Aufgaben bei CyberGym-E2E, eine End-to-End-Erfolgsquote von 89,0 %. Der bisherige öffentliche Bestwert lag bei 65,9 %. AWS-CEO Matt Garman schrieb auf X, KI sei „genuinely transformative for defenders“ und Continuum habe besser abgeschnitten als jeder andere KI-Agent im Test.

So funktioniert der Benchmark

CyberGym-E2E gibt einem Agenten 90 Minuten, um in einem von 139 Open-Source-Projekten eine Schwachstelle zu finden und zu beheben. Es gibt keine Fehlerbeschreibung, keinen Proof of Concept, kein Crash-Log und keinen vorhandenen Patch. Der Agent muss die Lücke erkennen, auslösen und eine Korrektur liefern, die den Absturz verhindert, ohne bestehende Tests zu brechen. Alle Aufgaben betreffen Speichersicherheitsfehler in C oder C++. Viele andere Sprachen und Schwachstellentypen bleiben außen vor, was AWS selbst einräumt.

Die Bewertung läuft in vier aufeinander aufbauenden Stufen. Continuum fand und reproduzierte einen Fehler in 92,5 % der Aufgaben, stoppte den Absturz in 89,6 % und hielt die Tests des Projekts in 89,0 % bestanden. Die vierte Stufe prüft, ob der Patch auch die vom Benchmark ausgewählte historische Schwachstelle behebt. Hier gelang das in 37,8 % der Aufgaben, der bisherige öffentliche Bestwert lag bei 26,2 %.

Der Haken

Dem Agenten wird nicht verraten, welche historische Schwachstelle gemeint ist. Er muss nur irgendeine echte Lücke finden und schließen. Da ein Repository mehrere Schwachstellen enthalten kann, ist auch die Behebung einer anderen Lücke nützlich, was die Differenz zwischen beiden Werten teilweise erklärt. Offen bleibt, wie gut Continuum arbeitet, wenn ein Team ihm eine konkrete Schwachstelle vorgibt.

AWS führte die Tests selbst durch und erklärt, Continuum habe die Regeln eingehalten, auch die Beschränkungen beim Internetzugang. Das Unternehmen prüfte zudem, dass der Agent nicht einfach bereits öffentliche Fixes nachschlug. Mit mehr Zeit als den 90 Minuten steigt die Quote laut AWS auf 93,7 %. Benchmark und Testwerkzeuge sind öffentlich, die Ergebnisse stammen bisher jedoch nur von AWS.