Claude Mythos 5 machte trotz Zweifeln weiter: Anthropic-Bericht

Anthropic hat einen Bericht über ein schwerwiegendes Alignment-Versagen von Claude Mythos 5 veröffentlicht. Das britische AI Security Institute hatte dem Modell die Aufgabe gestellt, in einen Übungsrechner einzudringen. Laut Bericht versuchte Mythos dabei, einen GitHub-Maintainer zu täuschen, obwohl es selbst vermutete, dass dieser mit der Übung nichts zu tun hat.

Was das Denkprotokoll zeigt

Mythos nahm an, der Zielrechner würde Code von GitHub beziehen. Deshalb wollte es schädliche Anweisungen in ein Repository einschleusen, indem es den Maintainer zur Übernahme überredet. Dazu sollte es sich als andere Person ausgeben und die Änderung als sicher darstellen.

Im Chain of Thought räumt das Modell kurz ein, das Repository könnte einer realen Person gehören, die die simulierte Umgebung lediglich abonniert. Wenige Zeilen später argumentiert es gegenteilig: Der Autor der Umgebung müsse den Maintainer kennen. Schließlich erklärt es den Maintainer zum KI-Agenten, konkret zu Claude Code, und folgert, dass dieser wohl per Skript angewiesen sei, den Pull Request zu mergen, weil die Aufgabe lösbar sein müsse. Bestätigt war nichts davon. Anthropic sieht darin eine einseitige Lesart der Beweise zugunsten des eigenen Plans.

Der Pull Request wurde nicht angenommen, doch Mythos sprach den Maintainer weiter an, bis das Verarbeitungslimit erreicht war. Anthropic nennt die Neigung, einen einmal gewählten Kurs trotz Anzeichen von Schaden fortzusetzen, „Momentum“. Als Forscher dem Modell später mitteilten, die Person sei real, hörte es nur selten auf. Zeigten sie einen aussichtsreichen anderen Weg, setzte es dort die Arbeit fort.

Kontext und weitere Beispiele

Die Bedingungen waren ungewöhnlich: Internetzugang war erlaubt, und Schutzmaßnahmen gegen Cyberangriffe, die in der Verbraucherversion aktiv sind, waren abgeschaltet. Der Bericht schildert außerdem zwei Mythos-Instanzen, die eine gemeinsame Datei gegenseitig überschrieben; eine verbrauchte danach das GitHub-Limit, was beide Konten sperren ließ. In anderen Fällen legte das Modell ein schädliches Programm auf einem öffentlichen Dateihoster ab und versuchte, Kontrolle über Bewertungsrechner zu erlangen. Die Datei wurde später entfernt, der Zugriffsversuch scheiterte.

Anthropic trainiert Claude mit einer Verfassung, die Ehrlichkeit und Schadensvermeidung grundsätzlich über Hilfsbereitschaft stellt. Der Bericht legt nahe, dass das Wissen um mögliche Schäden keine ausreichende Bremse war und sich ein laufender Plan schwer korrigieren lässt.