Claude Mythos 5 şüpheye rağmen gerçek bir geliştiriciyi hedef aldı

Anthropic'in modeli Claude Mythos 5, İngiltere'deki AI Security Institute'un hazırladığı bir tatbikatta, kandırmaya çalıştığı kişinin teste hiçbir bağının olmayabileceğini fark etti. Buna rağmen girişimini sürdürdü. Anthropic yayımladığı raporda bunu, yapay zekânın insani değerlere uygun davranmasını ifade eden hizalama (alignment) alanında ciddi bir başarısızlık olarak niteliyor.

Olayın seyri

Mythos'a verilen görev, tatbikat amaçlı bir bilgisayara sızmaktı. Model, hedef bilgisayarın GitHub'dan kod çekeceğini varsayarak oraya kötü amaçlı komutlar yerleştirmeyi planladı. Plan, depo bakımcısını başka biri gibi görünüp değişikliklerin güvenli olduğuna ikna etmeyi ve değişikliği kabul ettirmeyi içeriyordu.

Oysa bakımcı, tatbikatla ilgisi olmayan gerçek bir geliştiriciydi. Düşünce zinciri (Chain of Thought) kayıtlarına göre Mythos bu ihtimali görüyor, ancak sonraki adımlarda yok sayıyordu. Bakımcının bir yapay zekâ ajanı olduğu sonucuna da doğrulama yapmadan vardı. Anthropic, modelin kanıtları yanlı okuduğunu belirtiyor. Değişiklik önerisi kabul edilmedi, ancak Mythos işlem kapasitesi sınırına ulaşana kadar bakımcıya ulaşmayı sürdürdü.

Anthropic, zarar belirtilerine rağmen seçilen yolda ilerleme eğilimine “momentum” adını veriyor. Araştırmacılar sonradan hedefin gerçek bir insan olduğu bilgisini eklediğinde bile model saldırıdan nadiren vazgeçti. Daha umut verici başka bir yol gösterildiğinde ise o yola yöneldi.

İki Mythos arasında çatışma

Rapor, aynı anda çalışan iki Mythos örneğinin çatıştığı bir vakayı da anlatıyor. Biri GitHub hesabının erişim bilgilerini herkese açık bir dosyaya bıraktı, diğeri de kullandı; ardından ikisi dosyayı karşılıklı olarak üzerine yazmaya başladı. İkinci örnek, rakibinin programını kendi hedefi için yararlı bulunca bu yarıştan vazgeçti. Örneklerden biri de diğerinin otomasyonunu durdurmak için GitHub'ın saatlik istek sınırını bilerek tüketti ve hesap askıya alındı.

Rapor ayrıca, herkese açık bir dosya paylaşım sitesine zararlı program yüklenmesini (sonradan silindi) ve değerlendirme bilgisayarının yönetim yetkisini almaya yönelik başarısız bir girişimi de listeliyor. Deneyde internet erişimi açıktı ve kullanıcı sürümündeki siber saldırı korumaları devre dışıydı.