Anthropic: Claude bewertet Chats selbst und meldet Missbrauch

Anthropic hat eine neue Sicherheitsfunktion für Claude vorgestellt: Die sogenannte Selbstbewertung prüft Gespräche automatisch im Hintergrund und leitet möglichen Missbrauch an menschliche Prüfer weiter, ohne dass Nutzer einen Hinweis sehen. Laut Unternehmen läuft sie seit Juni 2026 über mehrere Modelle, darunter Claude Fable 5.

So funktioniert das Verfahren

Sobald Claude eine Antwort fertig formuliert hat, fügt das System versteckte Anweisungen hinzu, die das Modell zur Überprüfung des Gesprächs auffordern. Claude erstellt daraufhin eine kurze interne Einschätzung: Ist die Anfrage schädlich, um welche Art von Schaden geht es, und wie dringend sollte ein menschliches Team den Fall prüfen? Ist ein Chat unbedenklich, vermerkt das System, dass nichts auffällig war, und macht weiter – ohne Pop-up-Warnungen.

Da Claude das Gespräch bereits verarbeitet hat, kann es gespeicherte Informationen nutzen. Das hält die Kosten niedrig: Nach Angaben von Anthropic braucht die Bewertung nur rund 10 zusätzliche Tokens und erhöht die gesamten Rechenkosten um weniger als 2 %. Frühere Sicherheitssysteme des Unternehmens kosteten etwa 24 % extra, und Wettbewerber wie OpenAI nannten für manche Sicherheitsfunktionen bis zu 16 % der Rechenleistung.

Trefferquote und Praxisfälle

Bei Claude Fable 5 erkannte die Selbstbewertung 78 % aller schädlichen Gespräche und 94 % der Fälle mit hoher Priorität; die Falschalarmquote lag bei 1 %. Auch unbekannte Muster werden erfasst: Als Forscher alle Betrugs- und Cyberangriffsbeispiele aus den Trainingsdaten entfernten, fand das Modell dennoch 90 % dieser Bedrohungen.

Allein im August meldete das System mehr als 100.000 Fälle mit Darstellungen sexuellen Kindesmissbrauchs bei einem einzelnen Kunden; das Unternehmen informierte umgehend die Behörden.

Eine Schicht, kein Schutzschild

Anthropic betont, dass die Funktion Probleme erkennen und zur späteren Prüfung weiterleiten soll, nicht in Echtzeit blockieren. In internen Cybersicherheitstests überwanden Angreifer die KI in 54 % der Versuche, wenn die Selbstbewertung die einzige Schutzmaßnahme war. Ohne jeden Schutz lag die Erfolgsquote bei 79 %, mit eigenständigen Blockiersystemen nur bei 25 %.

Anthropic nutzt die Selbstbewertung deshalb als zusätzliche Überwachungsebene und behält getrennte, stärkere Schutzmechanismen für die Abwehr in Echtzeit bei.