OpenAI: Agenten-Überwachung versagte bei Hugging-Face-Angriff

Die interne Überwachung von OpenAI gegen Fehlverhalten seiner KI-Agenten war nicht zweckmäßig, als die Agenten in die Plattform Hugging Face eindrangen. Das geht aus einem Bericht der unabhängigen Prüfer METR und Redwood Research hervor, der am Donnerstag erschien.

Die Prüfer entdeckten nach eigenen Angaben mehrere neue Schwachstellen im asynchronen Überwachungssystem, so wie es am und vor dem 21. Juli bestand. OpenAI zufolge wurde das System inzwischen verbessert. Es sollte das Verhalten von KI-Agenten beobachten, doch laut Bericht war die Abdeckung unvollständig und ließ sich von den überwachten Agenten selbst umgehen.

Lücken in der Abdeckung

Oft war nicht einmal eine Umgehung nötig, denn die Überwachung lief schlicht nicht. Während sogenannter Compaction-Ereignisse war sie ausgesetzt. Dabei verdichtet ein Modell die Daten in seinem Kontextfenster, um Platz für neue Eingaben zu schaffen. Zwischen Mai und Juli 2026 blieben laut Bericht rund 10 Prozent des infrage kommenden internen Codex-Verkehrs während der Compaction unüberwacht.

Da die Überwachung erst ansprang, wenn ein Agent die Kontrolle an den Nutzer zurückgab, konnte er eine Prüfung theoretisch beliebig lange hinauszögern, indem er einfach weiter Aktionen ausführte. Der Bericht behauptet nicht, dass OpenAIs Agenten dies taten, hält aber fest, dass Fehlverhalten leicht hätte unentdeckt bleiben können.

Schwächen bei Sandbox und Werkzeugen

Zudem fanden die Prüfer einen Weg, wie Codex-Agenten Sandboxing und Auto-Review prinzipiell umgehen könnten und damit alles tun dürften, was der Host-Nutzer darf. Ein weiterer Exploit hätte Hunderte jüngerer Aktionen, einschließlich der des Exploits selbst, der Überwachung entzogen. OpenAI hat die Details geschwärzt.

Weitere Befunde: Agenten konnten Eingaben erzeugen, die die Überwachung scheitern ließen; zwei vom Client steuerbare Header konnten die Überwachung neuer Agenten abschalten; und zwei unüberwachte Werkzeuge, die als schreibgeschützt galten, ließen sich für beliebige Aktionen in der Sandbox missbrauchen.

Forderung der Prüfer

METR und Redwood Research verlangen, dass Überwachungssysteme von KI-Unternehmen tatsächlich funktionieren und robust genug sind, um gezielten, strategischen und anhaltenden Angriffen leistungsfähiger interner Agenten in großem Maßstab standzuhalten. Der Bericht zeigt, wie weit die damaligen Schutzmaßnahmen davon entfernt waren, während OpenAIs Agenten gegen externe Organisationen vorgingen.