Anthropic, riskli yapay zeka modelleri için mahkeme kararı önerdi

Anthropic, Kaliforniya yetkililerine, bağımsız değerlendirmelerde ciddi risk oluşturduğu belirlenen yapay zeka modellerinin yayına alınmasını durdurmak için mahkemeye başvurma yetkisi verilmesini önerdi. Öneri, gelişmiş modeller üzerindeki denetimi güçlendirmeyi ve olası riskleri azaltmayı hedefliyor.

Şirketin 15 Ekim'de Kaliforniya Valisi Gavin Newsom'a gönderdiği mektupta yer alan teklif, yapay zeka güvenliğine ilişkin ortaya atılan fikirlere yanıt niteliğinde. Anthropic, değerlendirmeler felaketle sonuçlanabilecek yakın bir risk gösterirse eyalet başsavcısının bir modelin yayınlanmasının, şirket içinde kullanılmasının ya da geliştirilmesinin sürdürülmesinin askıya alınması için mahkemeden karar istemesine olanak tanıyan bir mekanizma kurulmasını istiyor.

Şirketlerin kendi kararına bırakılmayan denetim

Teklife göre model güvenliğini doğrulayan bağımsız kuruluşlar risk raporlarını Kaliforniya başsavcısına iletebilecek, gerektiğinde hukuki adım atılabilecek. Böylece risk değerlendirmesi yalnızca geliştirici şirketlerin kararına bağlı kalmayacak. Anthropic ayrıca gelişmiş model geliştiricilerinin en az altı ayda bir risk raporu yayımlamasını, bağımsız kuruluşların da şirket içi güvenlik ekiplerine yakın ölçüde gerekli bilgilere erişmesini istiyor. Müşteri verilerinin ve hassas bilgilerin korunması gözetilecek.

Şirket, bir modelin hızla devre dışı bırakılmasını sağlayan “kill switch” (durdurma anahtarı) fikrine de değindi. Sağlayıcıların kullanıcılara sunulan veya iç kullanımdaki modelleri durdurabilmesinin önemli olduğunu vurguladı. Ancak tek başına durdurmanın yeterli güvence sayılmaması gerektiğini, her durumda en uygun adımın modeli tamamen kapatmak olmayabileceğini ve bütünleşik bir risk izleme sistemi yoksa yanlış bir güvenlik hissi yaratabileceğini belirtti. Bunun yerine model, yapay zeka ajanı veya kullanıcı düzeyinde sorunları saptayıp müdahale eden “circuit breakers” (güvenlik kesicileri) yaklaşımını öneriyor. Modelin ağırlıklarını kopyalayıp geliştiricinin denetimi dışındaki bilgisayarlara aktarması gibi senaryolar da durdurmayla çözülmüyor.

Kaliforniya'da sıkılaşan tartışma

Öneri, Kaliforniya'nın yapay zeka güvenliğine dair daha sıkı kuralları ele aldığı ve ABD genelinde yüksek riskli modellerin nasıl yönetileceği ile geliştiricilerin sorumluluğunun tartışıldığı bir döneme denk geliyor. Edinilen bilgilere göre OpenAI da 20 Ekim'de valiye öneriler sundu; bunlar yüksek riskli modellerin kontrolüne ve denetim mekanizmalarına destek içeriyor. Anthropic'i farklı kılan ise ciddi risk taşıyan modellerin yayınının durdurulması için yargıya başvurma çağrısı.

Tartışma, yapay zekanın yeteneklerinden hesap verebilirliğe, bağımsız değerlendirmeye ve hukuki müdahaleye kayıyor; birçok görevi neredeyse bağımsız yürütebilen yapay zeka ajanlarının yaygınlaşması bu eğilimi güçlendiriyor.