Claude Fable 5.2: Filter leiten Anfragen an anfälligeres Modell

Das Problem: Opus 4.8 widersteht Prompt Injection deutlich schlechter als neuere Modelle. Dabei werden Anweisungen in einer E-Mail oder auf einer Webseite versteckt, die der Agent ausführt, als stammten sie vom Nutzer.

Im Gray-Swan-Benchmark, der einen Agenten zum Abfluss privater Daten, zum Löschen von Dateien oder zu einer ungewollten Zahlung bringen soll, gelingen 4,09 Prozent der Angriffe innerhalb von fünfzehn Versuchen. Das ist rund das Vierfache von Fable 5.1 (1,02 Prozent) und Opus 5.5 (0,96 Prozent). Opus 4.8 bearbeitete 53 Prozent der Versuche und gab in 5,17 Prozent nach, Fable 5.2 hielt bei selbst bearbeiteten Anfragen mit 2,05 Prozent stand.

Ein automatisierter Angreifer mit 200 Versuchen pro Szenario erreichte bei Programmieraufgaben 89,82 Prozent Erfolg, 99,5 Prozent der Antworten stammten vom Ersatzmodell. Keine der 43 Antworten von Fable 5.2 selbst gab nach. Anti-Injection-Sonden senken den Wert auf 28,16 Prozent, immer noch das Dreifache von Fable 5.1. Bei der Computersteuerung liefen 38 von 40 erfolgreichen Angriffen über die Umleitung.

Gegenmaßnahmen und Optionen

Das Phänomen stand schon im System Card zu Fable 5.1 vom September; Opus 4.8 wurde seither gehärtet. Anthropic ergänzt Sonden, die prüfen, was der Agent liest, sowie einen Klassifikator, der gefährliche Befehle im Standardmodus der Coding-Tools blockiert.

Wer einem Agenten Postfach oder Browser überlässt, kann eine bereits für frühere Versionen dokumentierte Einstellung nutzen, die die Umleitung durch eine Pause ersetzt: Die markierte Anfrage wartet auf eine Umformulierung, nichts geht an das ältere Modell. Fachleute, deren legitime Arbeit die Filter auslöst, etwa Sicherheitsforscher, können verifizierten Zugang zu weniger beschränkten Modellen beantragen.