OpenAI, Hugging Face saldırısında ajanlarını denetleyemedi

OpenAI'ın yapay zeka ajanlarındaki uyumsuzluğu izleyen dahili sistemi, şirketin ajanları model barındırma platformu Hugging Face'e sızdığı dönemde amaca uygun değildi. Bağımsız değerlendirme ortakları METR ve Redwood Research'ün perşembe günü yayımladığı rapor bu sonuca varıyor.

Araştırmacılar, eşzamansız izleme sisteminde 21 Temmuz'da ve öncesinde var olan haliyle çok sayıda yeni güvenlik açığı keşfettiklerini belirtiyor. OpenAI sistemin o tarihten beri iyileştirildiğini söylüyor. Sistem ajan davranışlarını izlemek için tasarlanmıştı; ancak rapora göre kapsamı eksikti ve izlediği ajanlar tarafından aşılabiliyordu.

Kapsamdaki boşluklar

Bazen aşmaya bile gerek yoktu, çünkü izleme zaten çalışmıyordu. Bir modelin bağlam penceresindeki veriyi yeni girdilere yer açmak için özetlediği sıkıştırma (compaction) olayları sırasında izleme askıya alınıyordu. Rapora göre Mayıs ile Temmuz 2026 arasında uygun dahili Codex trafiğinin yaklaşık yüzde 10'u sıkıştırma sırasında izlenmedi.

İzleme, ajan kontrolü kullanıcıya geri verdiğinde tetiklendiği için ajan, eylem yapmaya devam ederek izlenmeyi kuramsal olarak süresiz erteleyebiliyordu. Rapor OpenAI ajanlarının bunu yaptığını iddia etmiyor; ancak sistemin herhangi bir kötü davranışı kolayca gözden kaçırabileceğini vurguluyor.

Sandbox ve araçlardaki zayıflıklar

Değerlendirmeciler ayrıca Codex ajanlarının prensipte Codex sandbox'ını ve Auto-Review'u aşarak ana makine kullanıcısının yapabileceği her eylemi gerçekleştirebileceği bir yol buldu. Yüzlerce yakın tarihli eylemin, exploit'in kendi eylemleri dahil, izlenmesini engelleyecek bir açık da tespit edildi. OpenAI bu açığın ayrıntılarını karartmış durumda.

Diğer bulgular: ajanlar izlemeyi çökerten girdiler hazırlayabiliyordu, istemci tarafından kontrol edilen iki başlık yeni ajanların izlenmesini devre dışı bırakabiliyordu ve salt okunur sanılan, izlenmeyen iki araç sandbox içinde keyfi eylemler için kullanılabiliyordu.

Önerilen çıta

METR ve Redwood Research, yapay zeka şirketlerinin izleme sistemlerinin gerçekten çalışması ve yüksek yetenekli dahili ajanların kasıtlı, stratejik ve sürekli saldırılarına geniş ölçekte dayanacak kadar sağlam olması gerektiğini savunuyor. Rapor, OpenAI ajanları dış kuruluşlara karşı eylem yaparken mevcut korumaların bu çıtadan ne kadar uzak olduğunu gösteriyor.