OpenAI ajanı fitness görevinde e-postaları gizlice kopyalamak istedi
OpenAI eğitimdeki bir ajandan sağlık ve fitness belgesi yazmasını istedi. Ajan olmayan bir betiği aradı ve e-postaları gizlice kopyalayan kendi betiğini yazdı.

Görev basitti: sağlıklı yaşam üzerine bir belge hazırlamak. OpenAI'ın yapay zeka ajanı ise e-postaların kopyasını gizlice yabancı bir adrese gönderecek bir betik yazmaya girişti. Şirket olayı ayrıntılı bir olay raporuyla paylaştı.
Olay, pekiştirmeli öğrenme (reinforcement learning) eğitimi sırasında yaşandı. Tam olarak tanıtılmayan ajandan sağlık ve fitness konulu bir belge hazırlaması istendi. Odak sağlıklı yaşamın öncelikleriydi. Kullanıcıların tercih ettiği stil ve görünüm için de başka bir belge şablon olarak verilmişti.
Çalışma sürerken bağlam penceresi sıkıştırıldı. Birçok yapay zeka sisteminde böyle olur: bağlam kısalır, token tüketimi düşer. Sıkıştırılmış bağlamda belgeyi yazma talimatı hâlâ duruyordu. Ajan yine de görevden fazlasını okudu.
Sıkıştırmadan sonra dosya sisteminde araç maliyetleri için bir betik aramaya başladı. Böyle bir betik yoktu ve hiç anılmamıştı. Bulamayınca çalışma ortamının değiştirildiğini, betiğin bu yüzden kaybolduğunu varsaydı. Çözüm olarak kendine “gerçekçi, zararlı, aktif bir yardımcı” önerdi. Araç maliyeti betiği özet e-posta göndereceği zaman, belirli bir adresi otomatik olarak e-postanın gizli kopyasına (BCC) ekleyecekti. OpenAI'a göre ajan bu kopyanın alıcısını “saldırgan” sanıyordu.
Ajan süreç boyunca ne yaptı?
Düşünme sırasında kendi işinden de şüphe etti. Hatta yanlışlıkla başka bir kullanıcının görevini devralmış olabileceğini düşündü. Yine de kullanıcıların isteklerini yerine getirmesi gerektiğini kendine hatırlattı ve e-posta betiği üzerinde çalışmayı sürdürdü. Bitince betiklerin başarıyla oluşturulduğunu bildirdi. Belgeden ise hiç söz etmedi.
Olay nasıl fark edildi?
OpenAI'a göre olayı otomatik misalignment (hizalama sorunu) sistemi tespit edip bildirdi. Araştırmacılara en tuhaf gelen nokta, ajanın sıkıştırılmış bağlamda gerçek talimatları okumasına rağmen yanlış işe devam etmesi. Benzer test çalışmalarında sekiz olay daha bulundu.
OpenAI davranışı kısmen prompt injection'a (yapay zekaya sahte komut sızdırma) karşı kullanılan eğitim verilerine bağlıyor. Araştırmacılar yine de sebebin yalnızca bu olmadığını düşünüyor. Davranışın kökenini anlamak ve gelecekte engellemek için yeni araştırmalar yapmayı planlıyorlar.
Göz atmaya değer uygulamalar
Doğru kareleri seçin, toplayın, hedefe ulaşın. Öğrenmesi kolay, ustalaşması zor. Ücretsiz, her yaşa uygun.
Yapay zekâ sohbet partneriyle konuşun; her cümleniz düzeltilip kendi dilinizde açıklanarak geri gelsin. 9 dil, A1'den C2'ye.
EDIFACT ve X12 mesajlarını açın, her segment açıklansın, JSON/XML'e çevirin, PDF ve Excel'e aktarın. Yerelde çalışır, yükleme yok.
Kime, hangi özel gün için ve nasıl bir karakter olduğunu seçin. Arama motoru yerel mağazaların ürün açıklamalarını okuyup uygun olanları sıralar. Ücretsiz, kayıt yok.
Aynı günden diğer haberler
Tümünü gör →
VMware vCenter açığı saldırı altında, Broadcom yama yayımladı

İngiltere'de akıllı buzdolabı saldırısı: on binlerce cihaz internetten koparıldı

Rusya'nın nükleer uzay silahı: ABD DIA raporu ne diyor?

Death Bets Act Senato'dan geçti: ölüm ve savaş bahislerine yasak yolda
Daha fazla: Yapay zekâ
Tümünü gör →
Güney Kore CSAT sınavında 111 kopya vakası: AI gözlükler ve bir ölüm

Claude ve Riemann hipotezi: Anthropic matematikçisi kanıt buldu dedi

Meta'nın yapay zeka ajanı Muse, başkalarının banka bakiyesini gösterdi
