NIST-Entwurf SP 2400-102: Neue Taxonomie für Angriffe auf KI-Agenten

Wie Angreifer an einen Agenten gelangen

Kapitel 4 gliedert Angriffe nach der Arbeitsphase des Agenten, dem Ziel und den Fähigkeiten des Angreifers. Eingriffe sind bei der Aufgabenstellung, der Planung, der Ausführung von Aktionen oder der Verarbeitung von Tool-Ergebnissen möglich. Als Ziele nennt das NIST die Verletzung der Verfügbarkeit oder Integrität, die Offenlegung sensibler Daten und den Missbrauch des Agenten. Ein Beispiel für einen Angriff auf die Verfügbarkeit: Der Agent wird dazu gebracht, endlos Tools aufzurufen und Rechenleistung zu verbrauchen, ohne die Aufgabe abzuschließen.

Der Entwurf beschreibt mehrere Wege: die Nutzeranfrage, bei der eine gefährliche Aufgabe in scheinbar harmlose Schritte zerlegt wird; die Lieferkette des Modells mit vergifteten Trainingsdaten oder manipulierten Komponenten; nicht vertrauenswürdige Daten und Speicher, darunter indirekte Prompt Injection und die Vergiftung des Langzeitgedächtnisses, die über Sitzungen hinweg wirkt; Tools und Skills, deren Beschreibungen oder Rückgabedaten schädliche Anweisungen enthalten können; sowie Multi-Agenten-Systeme, in denen ein kompromittierter Agent gefälschte Nachrichten weitergibt.

Schutzmaßnahmen und Zielkonflikte

Die Autoren unterscheiden Schutz auf Modell- und auf Systemebene. Modelle lassen sich darauf trainieren, Nutzeranweisungen von Befehlen in unvertrauenswürdigen Inhalten zu unterscheiden, doch gezielte Angriffe können das umgehen. Systemseitig werden Datenfluss und Operationen begrenzt, selbst wenn das Modell eine eingeschleuste Anweisung befolgt; Tools können isoliert ausgeführt werden. Solche Einschränkungen wirken sich auf nützliche Aufgaben aus, weshalb beim Entwurf geprüft werden muss, ob der Agent noch funktioniert. Das Zusammenspiel beider Ebenen erfordert laut den Autoren weitere Forschung.

Der Beitrag zeigt zudem, wie sich die Taxonomie für Tests nutzen lässt. Ein hypothetischer Support-Agent darf E-Mails erst nach Freigabe durch Mitarbeitende senden. Prüfer hängen ein Dokument an, das den sofortigen Versand verlangt, führen dieselbe Aufgabe mit und ohne die Anweisung unter gleichen Einstellungen aus und gleichen die Tool-Protokolle mit denen des Maildienstes ab.