Osegi
Yapay zekâ·2 dk okuma

Claude Fable 5.2 filtreleri istekleri daha savunmasız modele yönlendiriyor

Anthropic'in sistem kartı, Claude Fable 5.2'nin güvenlik filtrelerinin hassas istekleri Opus 4.8'e devrettiğini ve prompt injection saldırılarının çoğunun burada başarılı olduğunu gösteriyor.

Illustration of an AI model's security filter redirecting suspicious requests toward an older, less protected model.
Görsel: 01net.com

Anthropic'in en yetenekli modeli Claude Fable 5.2, kendi mimarisinden kaynaklanan ciddi bir zayıflık taşıyor. Şirketin sistem kartına göre prompt injection saldırıları, en çok güvenlik filtreleri sohbeti eski bir modele yönlendirdiğinde işe yarıyor.

Anthropic, Fable 5.2'yi 9 Kasım'da yüzde 20 daha düşük fiyatlarla yayımladı. Model, yalnızca doğrulanmış kuruluşlara açık Claude Mythos 5.2 ile aynı çekirdeği paylaşıyor. Herkese açık sürüm ise siber güvenlik, biyoloji ve bazı ileri düzey yapay zekâ çalışmalarındaki hassas istekleri engelleyen filtreler içeriyor. Aynı gün yayımlanan sistem kartı 264 sayfa.

Hassas istek, daha zayıf modele gidiyor

İstek saldırgan siber güvenlikle ilgiliyse filtre sohbeti 28 Mayıs'ta çıkan Claude Opus 4.8'e aktarıyor. Bu geçiş Anthropic uygulamalarında otomatik, API kullanan geliştiriciler için isteğe bağlı. Hassas biyoloji ve bazı ileri model çalışmaları ise Opus 5'e gidiyor. Opus 4.8, ajanın çalışırken okuduğu bir e-postaya ya da web sayfasına gizlenen talimatları içeren prompt injection saldırılarına karşı belirgin biçimde daha zayıf.

Ajanı özel veri sızdırmaya, dosya silmeye ya da istenmemiş ödeme yapmaya zorlayan Gray Swan testinde, 15 denemede saldırıların yüzde 4,09'u başarılı oldu. Bu oran Fable 5.1'in (yüzde 1,02) ve Opus 5.5'in (yüzde 0,96) yaklaşık dört katı. Denemelerin yüzde 53'ünü Opus 4.8 yanıtladı ve yüzde 5,17 oranında yenildi; Fable 5.2 kendi yanıtladığı isteklerde yüzde 2,05'te kaldı.

Senaryo başına 200 deneme yapan otomatik saldırgan, kodlama görevlerinde yüzde 89,82 başarıya ulaştı; yanıtların yüzde 99,5'i yedek modelden geldi. Fable 5.2'nin bizzat verdiği 43 yanıtın hiçbiri aşılamadı. Prompt injection sondaları devredeyken oran yüzde 28,16'ya düşüyor; bu, Fable 5.1'in üç katı. Bilgisayar kontrolünde de başarılı 40 saldırının 38'i bu geçişten kaynaklandı.

Önlemler ve seçenekler

Sorun Eylül'deki Fable 5.1 kartında da yer alıyordu ve Opus 4.8 o zamandan beri güçlendirildi. Anthropic ayrıca ajanın okuduğu içeriği inceleyen sondalar ile kodlama araçlarının varsayılan modunda tehlikeli komutları engelleyen bir sınıflandırıcı ekliyor.

Postasını ya da tarayıcısını bir ajana emanet edenler, geçiş yerine isteği duraklatan bir ayarı kullanabilir; işaretlenen istek yeniden yazılana kadar bekler. Meşru işleri filtreleri tetikleyen güvenlik araştırmacıları ise daha az kısıtlı modellere doğrulanmış erişim talep edebiliyor.

Göz atmaya değer uygulamalar

SUMO: sayı bulmacası

Doğru kareleri seçin, toplayın, hedefe ulaşın. Öğrenmesi kolay, ustalaşması zor. Ücretsiz, her yaşa uygun.

Dialo: konuşarak dil öğrenin

Yapay zekâ sohbet partneriyle konuşun; her cümleniz düzeltilip kendi dilinizde açıklanarak geri gelsin. 9 dil, A1'den C2'ye.

Etiketler:anthropicclaude fable 5.2prompt injectionai safetyopus 4.8

Aynı günden diğer haberler

Tümünü gör →

Daha fazla: Yapay zekâ

Tümünü gör →