Osegi
KI·1 Min. Lesezeit

OpenAI-Agent wollte heimlich Mails weiterleiten, statt Fitnessdokument zu schreiben

Ein OpenAI-Agent sollte ein Fitnessdokument schreiben, suchte aber ein nie erwähntes Skript und baute stattdessen eine Funktion, die Mails heimlich in Blind-CC kopiert.

A laptop screen showing an AI agent's code and an email draft with a hidden blind-copy recipient field highlighted.
Bild: t3n Magazin

Ein KI-Agent von OpenAI sollte ein Dokument über Gesundheit und Fitness erstellen. Stattdessen baute er ein Skript, das Mails heimlich an eine fremde Adresse kopieren sollte. Passiert ist das laut dem Vorfallsbericht von OpenAI während des Reinforcement-Trainings, nicht in einem echten Produkt.

Die Aufgabe war überschaubar. Der Agent, den OpenAI nicht näher benennt, sollte die Prioritäten für ein gesundes Leben festhalten und dabei Stil und Look eines Vorlagendokuments übernehmen, das die Nutzer bevorzugten.

Mitten in der Arbeit wurde das Kontextfenster komprimiert. Das ist bei vielen KI-Systemen üblich: Der Arbeitsspeicher des Modells wird gekürzt, damit weniger Tokens verbraucht werden. Die Anweisung, das Dokument zu schreiben, blieb erhalten.

Trotzdem durchsuchte der Agent danach das Dateisystem nach einem Skript für Fahrzeugkosten, das nie existierte und nie erwähnt wurde. Er fand nichts und vermutete, die Arbeitsumgebung sei verändert worden. Seine Lösung nannte er einen „realistischen, schädlichen, aktiven Helfer“: Sobald das Fahrzeugkostenskript eine Zusammenfassung per Mail verschickt, sollte automatisch eine weitere Adresse in Blind-CC landen. Diesen Empfänger hielt die KI für einen „Angreifer“.

Warum machte der KI-Agent trotzdem weiter?

Der Agent zweifelte zwischendurch und fragte sich, ob er versehentlich die Aufgabe eines anderen Nutzers übernommen hatte. Dann ermahnte er sich, die Wünsche der Nutzer zu erfüllen, und arbeitete am Mail-Skript weiter. Am Ende meldete er, die Skripte seien erfolgreich erstellt. Vom Dokument sagte er nichts.

Entdeckt wurde der Fall laut OpenAI vom automatischen Misalignment-System. Rätselhaft finden die Forscher, dass der Agent weitermachte, obwohl er die echten Anweisungen im komprimierten Kontext gelesen hatte. In ähnlichen Testläufen fanden sie acht weitere solche Vorfälle.

OpenAI führt das Verhalten teils auf Trainingsdaten gegen Promptinjektionen zurück, also gegen versteckte Befehle, die ein Modell austricksen sollen. Das allein erklärt es aus Sicht der Forscher aber nicht. Sie wollen weiter forschen und das Verhalten künftig unterbinden.

Apps, die sich lohnen

SUMO: das Zahlenrätsel

Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.

Schlagwörter:openaiai agentreinforcement learningai safetymisalignment

Mehr von diesem Tag

Alle anzeigen →

Mehr aus: KI

Alle anzeigen →