AWS Continuum CyberGym-E2E'de %89 aldı, ancak bir ayrıntı var

AWS, kod güvenlik açıkları için geliştirdiği Continuum'u perşembe günü genel kullanıma açtı. Hizmet, bir ekibin depolarındaki hataları buluyor ve doğruluyor, bunları müşterinin AWS ortamıyla karşılaştırıyor ve önerilen düzeltmelerle pull request açıyor.

Öne çıkan sonuç, AWS'nin lansmandan iki haftadan fazla önce, 5 Ekim'de yayımladığı bir kıyaslamadan geliyor. Continuum, CyberGym-E2E'de 920 görevin 819'unu geçti. Bu, %89,0'lık uçtan uca başarı oranı demek; önceki kamuya açık en yüksek oran %65,9'du. AWS CEO'su Matt Garman, X'te yapay zekanın savunmacılar için "genuinely transformative" olduğunu ve Continuum'un testte diğer tüm yapay zeka ajanlarından yüksek puan aldığını yazdı.

Kıyaslama nasıl işliyor

CyberGym-E2E, bir ajana 139 açık kaynak projeden birinde güvenlik açığını bulup düzeltmesi için 90 dakika veriyor. Hata açıklaması, proof of concept, çökme günlüğü ya da mevcut yama yok. Ajan açığı belirlemeli, tetiklemeli ve mevcut testleri bozmadan çökmeyi durduran bir düzeltme üretmeli. Tüm görevler C veya C++ içindeki bellek güvenliği hatalarını kapsıyor; AWS'nin de kabul ettiği gibi birçok başka dil ve açık türü dışarıda kalıyor.

Değerlendirme dört kümülatif aşamada yürüyor. Continuum görevlerin %92,5'inde bir hata buldu ve yeniden üretti, %89,6'sında çökmeyi durdurdu, %89,0'ında projenin testlerini geçmeye devam etti. Dördüncü aşama, yamanın kıyaslamanın seçtiği tarihsel açığı da kapatıp kapatmadığına bakıyor. Burada Continuum görevlerin %37,8'inde başarılı oldu; önceki kamuya açık en yüksek oran %26,2'ydi.

Ayrıntı

Ajana hangi tarihsel açığın kontrol edildiği söylenmiyor; yalnızca gerçek bir kusuru bulup onarması gerekiyor. Bir depoda birden fazla açık olabileceğinden, farklı bir açığı düzeltmek de değerli bir iş ve bu, iki skor arasındaki farkı kısmen açıklıyor. Bir ekip Continuum'a belirli bir açığı verdiğinde ne kadar iyi performans göstereceği ise bilinmiyor.

AWS testleri kendisi yürüttü ve Continuum'un internet erişimi sınırları dahil kıyaslama kurallarına uyduğunu söylüyor. Şirket ayrıca ajanın halihazırda herkese açık düzeltmeleri aramadığını da kontrol etti. AWS'ye göre 90 dakikalık sınırdan fazla süre verildiğinde oran %93,7'ye çıkıyor. Kıyaslama ve test araçları herkese açık, ancak şimdilik sonuçlar yalnızca AWS'ye ait.