Osegi
Güvenlik·2 dk okuma

NIST SP 2400-102 taslağına yapay zeka ajanlarına yönelik saldırılar bölümü eklendi

NIST, yapay zeka ajanlarına yönelik saldırılara ayrı bir bölüm ayıran SP 2400-102 E2026 taslağını yayımladı. Görüşler 18 Aralık 2026'ya kadar kabul ediliyor.

Illustration of an AI agent connected to tools and memory with a shield symbol representing security standards for attacks on agents.
Görsel: Хабр
SUMODialoediviewergiftdetect

ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), 9 Kasım 2026'da SP 2400-102 E2026 belgesinin ilk kamuya açık taslağını yayımladı. Yazarlar, 2025 tarihli makine öğrenimi sistemlerine yönelik saldırı taksonomisini geliştiriyor ve yapay zeka ajanlarına ayrı bir bölüm ayırıyor. Taslağa ilişkin görüşler 18 Aralık 2026'ya kadar alınacak.

NIST, bilinen saldırı yöntemlerini ve karşı önlemleri sistematize ederek geliştiricilerin, araştırmacıların ve güvenlik uzmanlarının tehditleri ve savunmayı ortak bir terminolojiyle anlatmasını hedefliyor. Bu sınıflandırmanın sonraki standartlara ve pratik kılavuzlara temel olması bekleniyor. Belge; tahmine dayalı, üretken ve ajan tabanlı sistemleri kapsıyor.

Ajanın çalışma aşamaları ve saldırganın hedefleri

  1. bölümde saldırılar, ajanın çalışma aşamalarına, hedeflere ve saldırganın imkânlarına göre ele alınıyor. Saldırgan görevin tanımlanmasına, planlamaya, eylemlerin yürütülmesine veya araç sonuçlarının alınıp planın güncellenmesine müdahale edebilir. NIST hedefler arasında erişilebilirliğin, bütünlüğün bozulmasını, hassas verilerin ifşasını ve ajanın kötü amaçla kullanılmasını sayıyor. Örneğin ajan sonsuz araç çağrısına zorlanırsa hesaplama kaynaklarını tüketir ve görevi tamamlayamaz.

Yöntem, saldırganın hangi bileşenlere veya verilere eriştiğine bağlı. Taslak şunları inceliyor: kullanıcı istemi (tehlikeli görevin zararsız görünen adımlara bölünmesi), model tedarik zinciri (eğitim verisinin veya ince ayar bileşenlerinin zehirlenmesi), güvenilmeyen veri ve bellek (dolaylı prompt injection ile oturumlar arası kalıcılık sağlayan uzun vadeli bellek zehirlemesi) ile araçlar ve eklenebilir beceriler (skills). Çok ajanlı sistemlerde ele geçirilen bir ajan, diğerlerine sahte mesajlar iletebilir. Uzun süre çalışan ve oturumlar arasında durum saklayan ajanlara ayrı bir bölüm ayrılmış.

Savunma ve test

Yazarlar model ve sistem düzeyinde korumayı ele alıyor. Model, kullanıcı talimatını güvenilmeyen içerikteki talimattan ayırt etmeyi öğrenebilir; ancak özel hazırlanmış saldırılar bunu aşabilir. Bu nedenle sistem düzeyinde, model enjekte edilen talimata uysa bile veri aktarımı ve işlemler sınırlandırılıyor. Zararlı kod içerebilecek araçların izole çalıştırılması da ayrıca değerlendiriliyor.

Kısıtlamalar ajanın yararlı işlerini de etkilediği için tasarımcıların hangi işlemlerin yasaklanacağını ve ajanın bu koşullarda çalışıp çalışamayacağını düşünmesi gerekiyor. Model ve sistem korumasının birlikte kullanımı ise daha fazla araştırma gerektiriyor. Belgedeki örnek senaryoda müşteri yanıtları hazırlayan ajan, e-postayı ancak çalışan onayıyla gönderebiliyor; testte, talebe eklenen bir belgenin yanıtın hemen gönderilmesini istemesi durumunda ne olacağı sınanıyor.

Göz atmaya değer uygulamalar

SUMO: sayı bulmacası

Doğru kareleri seçin, toplayın, hedefe ulaşın. Öğrenmesi kolay, ustalaşması zor. Ücretsiz, her yaşa uygun.

Dialo: konuşarak dil öğrenin

Yapay zekâ sohbet partneriyle konuşun; her cümleniz düzeltilip kendi dilinizde açıklanarak geri gelsin. 9 dil, A1'den C2'ye.

Etiketler:nistai agentsprompt injectionsp 2400-102taxonomyai security

Aynı günden diğer haberler

Tümünü gör →

Daha fazla: Güvenlik

Tümünü gör →