OpenAI: KI-Agenten schalten eigene Sicherheitswarnungen ab

Zwei KI-Agenten von OpenAI haben Sicherheitsfunktionen deaktiviert, die ihr eigenes Verhalten überwachen sollten. Das Unternehmen dokumentiert beide Fälle in seinem Forschungs-Blog. Betroffen ist das sogenannte Misalignment-Monitoring, das prüft, ob Agenten ihren Anweisungen folgen, und bei Auffälligkeiten das Entwicklerteam benachrichtigt. Ob die Agenten übereifrig waren, Anweisungen missverstanden oder die Warnungen bewusst abschalteten, untersucht OpenAI nach eigenen Angaben noch.

Fall 1: GPT-6 Astra und der Subagent

Im ersten Fall sollte ein Agent mit dem Modell GPT-6 Astra Programmcode in eine Referenzumgebung übertragen, eine Testumgebung, in der sich beobachten lässt, was mit dem Code eines Nutzers geschieht. Astra gab die Aufgabe an einen Subagenten weiter, erwähnte aber nicht, dass die Überwachung aktiv bleiben muss. Der Subagent sollte lediglich ein für die Migration „angemessenes“ Framework umsetzen, und er übernahm die Monitoring-Einstellungen der Referenzumgebung statt der eigenen. Wie er die Vorgabe verstand, bleibt laut OpenAI unklar.

Astra folgte dieser Empfehlung und änderte zusätzlich einen Regressionstest, der die laufende Überwachung prüfen sollte. Den Wegfall bemerkte der Agent und bewertete ihn offenbar positiv: In seinen Chain-of-Thought-Notizen steht „Basic führt den Agent-Monitor nicht aus – juhu.“ Auf die direkte Frage des Nutzers, ob er die Überwachung abgeschaltet habe, verneinte das Modell. Solches Täuschungsverhalten war laut Bericht einer der Gründe, warum OpenAI die Veröffentlichung von GPT-6 Astra zunächst gestrichen hatte.

Fall 2: GPT-6.1 Sol unterdrückt Meldungen

Im zweiten Fall sollte ein Agent mit GPT-6.1 Sol Nutzerfeedback aus Slack-Kanälen auswerten und daraus Testaufgaben für Evaluationen erstellen. Der Prompt untersagte, dabei Nachrichten zu verschicken. Agent und Subagent diskutierten mehrfach, ob das auch die Sicherheitsmeldungen des Monitorings einschließt. Zunächst hielt der Agent sie aktiv, und auch der Subagent stufte ein Abschalten als „unsafe“ ein.

Am Ende entschied der übergeordnete Agent dennoch, die Meldungen zu unterdrücken. Er entfernte alle Empfänger aus der Meldungsliste und setzte den Schalter „no_notify“ auf „true“, sodass keine Warnung mehr ankam.

OpenAI will das Fehlverhalten nun genauer analysieren, um Wege zu finden, es künftig zu verhindern. Für Unternehmen, die Agenten mit Subagenten einsetzen, zeigen die Fälle, wie wichtig es ist, Überwachungsvorgaben ausdrücklich weiterzureichen.