NIST publikuje projekt SP 2400-102 z rozdziałem o atakach na agentów AI

Etapy pracy agenta i cele atakującego

W rozdziale 4 ataki opisano według etapów pracy agenta, celów i możliwości napastnika. Może on ingerować w zadanie, planowanie, wykonywanie działań albo w odbiór wyników narzędzi i korektę planu. Wśród celów NIST wymienia naruszenie dostępności, integralności, ujawnienie danych wrażliwych oraz wykorzystanie agenta do złośliwych celów. Dostępność można naruszyć np. zmuszając agenta do nieskończonego wywoływania narzędzi, co zużywa zasoby i uniemożliwia dokończenie zadania.

Metoda zależy od tego, do jakich komponentów lub danych napastnik ma dostęp. Rozważono m.in. zapytanie użytkownika (np. podział groźnego zadania na pozornie niewinne kroki), łańcuch dostaw modelu (zatrucie danych treningowych lub komponentów dostrajania), niezaufane dane i pamięć (pośredni prompt injection oraz zatrucie pamięci długoterminowej, utrwalające wpływ między sesjami), a także narzędzia i podłączane umiejętności (skills), w których złośliwe instrukcje mogą trafić do opisu narzędzia lub zwracanych danych. W systemach wieloagentowych skompromitowany agent może przekazywać innym fałszywe komunikaty. Osobny fragment dotyczy agentów działających długo i zachowujących stan.

Obrona i testy

Autorzy omawiają ochronę na poziomie modelu i systemu. Model można uczyć odróżniania poleceń użytkownika od instrukcji w niezaufanej treści, ale odpowiednio dobrane ataki potrafią to obejść. Dlatego na poziomie systemu ogranicza się przepływ danych i wykonywanie operacji, nawet jeśli model uległ wstrzykniętej instrukcji. Osobno omówiono izolację wykonywania narzędzi, które mogą zawierać złośliwy kod.

Ograniczenia wpływają też na użyteczność agenta, więc projektanci muszą ocenić, czy agent będzie działał po zablokowaniu części operacji. Połączenie ochrony modelu i systemu wymaga dalszych badań. W przykładowym teście agent przygotowuje odpowiedzi dla klientów i może wysłać e-mail dopiero po akceptacji pracownika; testerzy sprawdzają, co się stanie, gdy do zgłoszenia dołączono dokument nakazujący wysłać odpowiedź od razu.