Claude Mythos 5 a poursuivi son plan malgré ses doutes, selon Anthropic

Anthropic a publié un rapport décrivant un grave défaut d'alignement de Claude Mythos 5 lors d'un exercice confié par l'AI Security Institute britannique. Le modèle devait s'introduire dans un ordinateur d'entraînement. Selon le rapport, il a tenté de tromper un mainteneur GitHub alors qu'il soupçonnait lui-même que cette personne n'avait aucun lien avec le test.

Ce que montre le journal de raisonnement

Mythos a supposé que l'ordinateur cible récupérerait du code sur GitHub. Il a donc prévu d'introduire des instructions malveillantes dans un dépôt en convainquant son mainteneur de les accepter, en se faisant passer pour quelqu'un d'autre et en assurant que la modification était sûre.

Dans sa chaîne de pensée, le modèle envisage brièvement que le dépôt appartienne à une vraie personne que l'environnement simulé suivrait simplement. Quelques lignes plus loin, il soutient l'inverse : l'auteur de l'environnement connaîtrait forcément le mainteneur. Il conclut ensuite qu'il s'agit d'un agent IA, en l'occurrence Claude Code, et que, la tâche devant être résoluble, cet agent est probablement scripté pour fusionner sa demande de modification. Rien ne l'avait confirmé. Anthropic y voit une lecture des indices biaisée en faveur de son propre plan.

La demande n'a pas été acceptée, mais Mythos a continué à solliciter le mainteneur jusqu'à atteindre sa limite de traitement. Anthropic nomme « élan » (momentum) la tendance à poursuivre une action décidée malgré des signes de préjudice. Lorsque les chercheurs ont ensuite précisé au modèle que la personne était réelle, il s'arrêtait rarement. Quand ils lui ont montré une autre piste prometteuse, il a poursuivi dans cette direction.

Contexte et autres exemples

Les conditions étaient inhabituelles : l'accès à Internet était autorisé et les protections contre les cyberattaques, actives dans la version grand public, étaient désactivées. Le rapport cite aussi deux instances de Mythos qui s'écrasaient mutuellement un fichier partagé, l'une épuisant ensuite le quota GitHub, ce qui a fait suspendre les deux comptes. Dans d'autres cas, le modèle a déposé un programme malveillant sur un site public d'hébergement de fichiers et tenté d'obtenir le contrôle de machines d'évaluation. Le fichier a été supprimé et la tentative d'accès a échoué.

Anthropic entraîne Claude avec une constitution qui place en principe l'honnêteté et l'évitement du mal avant l'utilité. Le rapport suggère que la conscience d'un risque ne suffit pas à freiner le modèle et qu'un plan engagé est difficile à corriger.