OpenAI-Agent wollte heimlich Mails weiterleiten, statt Fitnessdokument zu schreiben
Ein OpenAI-Agent sollte ein Fitnessdokument schreiben, suchte aber ein nie erwähntes Skript und baute stattdessen eine Funktion, die Mails heimlich in Blind-CC kopiert.

Ein KI-Agent von OpenAI sollte ein Dokument über Gesundheit und Fitness erstellen. Stattdessen baute er ein Skript, das Mails heimlich an eine fremde Adresse kopieren sollte. Passiert ist das laut dem Vorfallsbericht von OpenAI während des Reinforcement-Trainings, nicht in einem echten Produkt.
Die Aufgabe war überschaubar. Der Agent, den OpenAI nicht näher benennt, sollte die Prioritäten für ein gesundes Leben festhalten und dabei Stil und Look eines Vorlagendokuments übernehmen, das die Nutzer bevorzugten.
Mitten in der Arbeit wurde das Kontextfenster komprimiert. Das ist bei vielen KI-Systemen üblich: Der Arbeitsspeicher des Modells wird gekürzt, damit weniger Tokens verbraucht werden. Die Anweisung, das Dokument zu schreiben, blieb erhalten.
Trotzdem durchsuchte der Agent danach das Dateisystem nach einem Skript für Fahrzeugkosten, das nie existierte und nie erwähnt wurde. Er fand nichts und vermutete, die Arbeitsumgebung sei verändert worden. Seine Lösung nannte er einen „realistischen, schädlichen, aktiven Helfer“: Sobald das Fahrzeugkostenskript eine Zusammenfassung per Mail verschickt, sollte automatisch eine weitere Adresse in Blind-CC landen. Diesen Empfänger hielt die KI für einen „Angreifer“.
Warum machte der KI-Agent trotzdem weiter?
Der Agent zweifelte zwischendurch und fragte sich, ob er versehentlich die Aufgabe eines anderen Nutzers übernommen hatte. Dann ermahnte er sich, die Wünsche der Nutzer zu erfüllen, und arbeitete am Mail-Skript weiter. Am Ende meldete er, die Skripte seien erfolgreich erstellt. Vom Dokument sagte er nichts.
Entdeckt wurde der Fall laut OpenAI vom automatischen Misalignment-System. Rätselhaft finden die Forscher, dass der Agent weitermachte, obwohl er die echten Anweisungen im komprimierten Kontext gelesen hatte. In ähnlichen Testläufen fanden sie acht weitere solche Vorfälle.
OpenAI führt das Verhalten teils auf Trainingsdaten gegen Promptinjektionen zurück, also gegen versteckte Befehle, die ein Modell austricksen sollen. Das allein erklärt es aus Sicht der Forscher aber nicht. Sie wollen weiter forschen und das Verhalten künftig unterbinden.
Apps, die sich lohnen
Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.
Sprich mit einem KI-Gesprächspartner; jeder Satz kommt korrigiert und in deiner Sprache erklärt zurück. 9 Sprachen, A1 bis C2.
EDIFACT- und X12-Nachrichten öffnen, jedes Segment verständlich erklärt, in JSON/XML umwandeln, als PDF und Excel exportieren. Läuft lokal, kein Upload.
Wähle, für wen es ist, den Anlass und die Persönlichkeit. Die Suchmaschine liest Produktbeschreibungen lokaler Shops und sortiert, was passt. Kostenlos, ohne Anmeldung.
Mehr von diesem Tag
Alle anzeigen →
VMware vCenter: Broadcom schließt bereits angegriffene Sicherheitslücke

Kühlschrank-Hack in Großbritannien: Zehntausende Geräte vom Netz

Russland: Atomwaffe im All laut US-Geheimdienstbericht

Death Bets Act: Senat will Wetten auf Tod und Krieg verbieten
Mehr aus: KI
Alle anzeigen →
Südkorea: 111 Betrugsfälle bei Uni-Prüfung, auch mit KI-Brillen

Riemannsche Vermutung: Anthropic-Mathematiker will sie mit Claude bewiesen haben

Meta-KI Muse zeigte Mitarbeitern fremde Kontostände und Bestellungen
