Anthropic will Gerichte über riskante KI-Modelle entscheiden lassen

Anthropic hat vorgeschlagen, den Behörden in Kalifornien die Möglichkeit zu geben, per Gericht die Veröffentlichung von KI-Modellen zu stoppen, die laut unabhängigen Bewertungen ein schwerwiegendes Risiko darstellen. Ziel ist eine stärkere Aufsicht über fortgeschrittene Modelle und eine Begrenzung möglicher Schäden.

Der Vorschlag steht in einem Brief, den das Unternehmen am 15. Oktober an Gouverneur Gavin Newsom schickte. Darin fordert Anthropic einen Mechanismus, mit dem der Generalstaatsanwalt des Bundesstaates eine einstweilige Verfügung beantragen kann, um den Einsatz eines Modells, seine interne Nutzung oder seine Weiterentwicklung auszusetzen. Voraussetzung wäre, dass Bewertungen ein unmittelbares Risiko katastrophaler Schäden zeigen.

Unabhängige Kontrolle und regelmäßige Berichte

Unabhängige Stellen, die auf die Prüfung der Modellsicherheit spezialisiert sind, sollen Risikoberichte beim Generalstaatsanwalt einreichen können. So wäre rechtliches Vorgehen möglich, ohne dass allein die Entwickler über die Risiken ihrer Technik urteilen. Zudem sollen Entwickler fortgeschrittener Modelle mindestens alle sechs Monate Risikoberichte veröffentlichen. Die unabhängigen Prüfer sollen Zugang zu den nötigen Informationen erhalten, in etwa vergleichbar mit internen Sicherheitsteams, bei gleichzeitigem Schutz von Kundendaten und sensiblen Informationen.

Der Kill Switch reicht nicht

Anthropic ging auch auf den sogenannten Kill Switch ein, mit dem sich ein Modell bei Sicherheits- oder Betriebsrisiken rasch abschalten lässt. Unternehmen müssten die Fähigkeit haben, Modelle abzuschalten, die sie Nutzern anbieten oder intern einsetzen. Zugleich warnte das Unternehmen davor, die Abschaltung allein für ausreichend zu halten. Eine vollständige Deaktivierung sei nicht in jedem Fall die passende Maßnahme und könne ein trügerisches Sicherheitsgefühl erzeugen, wenn ein umfassendes System zur Risikoüberwachung fehle.

Stattdessen schlägt Anthropic sogenannte Circuit Breakers vor: Mechanismen, die das Verhalten von KI-Systemen überwachen, Probleme erkennen und eingreifen – auf Ebene des Modells, des Agenten oder des Nutzers. Eine Abschaltung deckt laut Anthropic nicht alle gefährlichen Szenarien ab, etwa wenn ein Modell seine Gewichte kopiert und auf Rechner außerhalb der Kontrolle des Entwicklers überträgt.

Teil einer größeren Debatte

Der Vorstoß fällt in eine Zeit, in der Kalifornien strengere Regeln für KI-Sicherheit prüft und in den USA breit über den Umgang mit Hochrisikomodellen und die Verantwortung der Entwickler diskutiert wird. Auch OpenAI übermittelte dem Gouverneur am 20. Oktober Vorschläge, die Maßnahmen zur Kontrolle solcher Modelle sowie Aufsicht und Audits unterstützen. Anthropic geht jedoch weiter, indem es den Gerichtsweg zum Stopp gefährlicher Modelle fordert.

Die Vorschläge zeigen, wie sich die Debatte von den Fähigkeiten der KI hin zu klarer Rechenschaft, unabhängiger Bewertung und rechtlichem Eingreifen verschiebt, zumal KI-Agenten zunehmend viele Aufgaben weitgehend selbstständig erledigen.