Anthropic, Claude’a zararlı sohbetleri tespit eden öz değerlendirme getirdi

Anthropic, yapay zekâ modeli Claude için yeni bir güvenlik özelliği duyurdu. “Öz değerlendirme” adlı sistem, Claude’un kendi sohbetlerini arka planda otomatik olarak değerlendirmesini, olası kötüye kullanımı tespit etmesini ve bunları insan incelemesine yönlendirmesini sağlıyor. Kullanıcıya herhangi bir uyarı gösterilmiyor. Şirkete göre özellik, aralarında Claude Fable 5’in de bulunduğu farklı modellerde haziran 2026’dan beri çalışıyor.

Nasıl çalışıyor?

Claude yanıtını tamamladığında sistem, modelden sohbeti gözden geçirmesini isteyen gizli bir talimat ekliyor. Claude da kısa bir iç değerlendirme üretiyor: talebin zararlı olup olmadığı, olası zararın türü ve vakanın insan ekibi için öncelik düzeyi. Sohbet güvenliyse sistem uyarı gerekmediğini kaydedip bir sonraki sohbete geçiyor.

Claude sohbeti zaten okuduğu için depolanan bilgileri kullanabiliyor. Anthropic’e göre bu sayede değerlendirme yalnızca yaklaşık 10 ek token gerektiriyor ve toplam hesaplama maliyetini yüzde 2’nin altında artırıyor. Şirketin önceki güvenlik sistemleri maliyete yaklaşık yüzde 24 ekliyordu. OpenAI gibi rakiplerin bazı güvenlik özelliklerinin ise hesaplama gücünün yüzde 16’sına kadarını kullandığı belirtiliyor.

Doğruluk ve gerçek vakalar

Claude Fable 5’te öz değerlendirme, zararlı sohbetlerin yüzde 78’ini ve yüksek öncelikli vakaların yüzde 94’ünü yakaladı. Yanlış alarm oranı ise yalnızca yüzde 1. Anthropic, yalnızca ağustos ayında tek bir müşteride çocuk istismarı materyaliyle bağlantılı 100 binden fazla vaka tespit edildiğini ve bunların derhal yetkililere bildirildiğini açıkladı.

Sistem Claude’un genel bilgisine dayandığı için, tespit listelerinde yer almayan yeni kötüye kullanım örüntülerini de fark edebiliyor. Araştırmacılar eğitim verilerinden dolandırıcılık ve siber saldırı örneklerini tamamen çıkardığında bile model bu tehditlerin yüzde 90’ını buldu.

Sınırlar

Öz değerlendirme sorunları anında engellemek için değil, tespit edip sonradan incelemeye göndermek için tasarlandı. Anthropic, tek başına uzman saldırganlara karşı yeterli olmadığını kabul ediyor. Şirketin iç siber güvenlik testlerinde, tek koruma öz değerlendirme olduğunda saldırganlar yüzde 54 oranında başarılı oldu. Hiç koruma yokken bu oran yüzde 79; bağımsız, anlık engelleme sistemleri ise oranı yüzde 25’e indiriyor. Bu nedenle Anthropic, öz değerlendirmeyi daha güçlü ve bağımsız korumaların yanında ek bir izleme katmanı olarak kullanıyor.