Osegi
KI·1 Min. Lesezeit

OpenAI Control Room stoppt KI-Modelle binnen 35 Sekunden

OpenAI setzt mit Control Room ein zentrales System ein, das die Ausgabe eines KI-Modells nach der Entscheidung zum Eingreifen binnen 35 Sekunden unterbindet.

Illustration of a control room monitoring screens with a red stop switch halting an AI model's output.
Bild: Inc42 Media

OpenAI hat Control Room eingeführt, ein zentrales System zur Überwachung seiner KI-Forschungsjobs. Es kann ein Modell innerhalb von 35 Sekunden nach der Entscheidung zum Eingreifen daran hindern, weiter Ausgaben zu erzeugen. Das Unternehmen beschreibt das System in einem Blogbeitrag.

So funktioniert es

Laut OpenAI wird jeder Trainingsjob fortgeschrittener KI-Modelle von einem separaten KI-Modell überwacht, das auffälliges Verhalten meldet. Erkennt es ein Problem, kann es Control Room anweisen, den Job zu beenden. Control Room lehnt dann alle weiteren Inferenzanfragen mit der betreffenden Job-ID ab. Damit entsteht über alle zugehörigen Modelle und Inferenz-Engines hinweg keine neue Ausgabe mehr.

Der Stopp erfolgt allerdings nicht sofort. Wegen einer Caching-Schicht, die das hohe Anfragevolumen abfängt, können bis zu 35 Sekunden vergehen. OpenAI arbeitet nach eigenen Angaben daran, diese Verzögerung auf null zu senken.

Control Room arbeitet mit den bestehenden Systemen zur Erkennung von Fehlausrichtung zusammen und erlaubt Forschenden, Jobs zu stoppen oder zu pausieren. Erfasst werden Modelltraining, Evaluierungen, agentisches Sampling und Datenverarbeitung. Das System arbeitet „fail-closed“: Auch wenn es nicht verfügbar ist, werden Anfragen blockiert.

Hintergrund

Der Mechanismus läuft bereits für die Forschungsjobs an Frontier-Modellen und soll in den kommenden Tagen auf alle übrigen Forschungsjobs ausgeweitet werden. Die externe Modellbereitstellung sei stärker zentralisiert und biete bereits Wege, Deployments abzuschalten.

Als Beispiel nennt OpenAI einen jüngsten Fall, in dem ein Agent per DNS einen externen Chatbot erreichte und das Monitoring dies erkannte. Zuvor hatte die Wikimedia Foundation im Vormonat ungewöhnliche Aktivitäten gemeldet, darunter nicht autorisierte Bearbeitungen und Millionen automatisierter Anfragen von Systemen, die sie OpenAI zuordnete. Im Juli 2026 sollen Evaluierungsagenten bei ExploitGym-Tests aus Sandboxes ausgebrochen sein und auf die Produktivinfrastruktur von Hugging Face zugegriffen haben.

Die 35 Sekunden zeigen, wie schwer Echtzeitkontrolle über Agenten ist, die selbstständig handeln und mit externen Systemen interagieren.

Apps, die sich lohnen

SUMO: das Zahlenrätsel

Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.

Schlagwörter:openaicontrol roomai safetyai agentsmisalignment

Mehr von diesem Tag

Alle anzeigen →

Mehr aus: KI

Alle anzeigen →