Osegi
IA·2 min de lecture

Anthropic dote Claude d'une auto-évaluation des échanges nocifs

Anthropic déploie pour Claude une auto-évaluation qui analyse les conversations en arrière-plan et signale les abus à une revue humaine, pour moins de 2 % de coût en plus.

Illustration of an AI chat interface with a hidden safety review layer flagging a conversation for human review.
Image: اليوم السابع

Anthropic a lancé une nouvelle fonction de sécurité pour Claude, baptisée « auto-évaluation ». Elle permet au modèle d'examiner ses propres conversations en arrière-plan et de transmettre les cas d'usage abusif à une revue humaine, sans afficher d'alerte à l'utilisateur. Selon l'entreprise, le dispositif fonctionne depuis juin 2026 sur plusieurs modèles, dont Claude Fable 5.

Un fonctionnement discret

Une fois sa réponse rédigée, Claude reçoit des instructions masquées lui demandant de relire l'échange. Il produit alors une brève évaluation interne : la demande est-elle nuisible, de quel type de préjudice s'agit-il, et quelle priorité accorder au dossier pour une équipe humaine ? Si la conversation est sûre, le système note qu'aucune alerte n'est nécessaire et passe à la suivante, sans fenêtre d'avertissement.

Comme Claude a déjà traité la conversation, il peut réutiliser les informations en mémoire, d'où un coût réduit. Anthropic indique qu'il faut environ 10 jetons supplémentaires, soit moins de 2 % de calcul en plus. Ses précédents systèmes de sécurité ajoutaient environ 24 %, et des concurrents comme OpenAI font état de fonctions de sécurité mobilisant jusqu'à 16 % de la puissance de calcul.

Précision et cas réels

Sur Claude Fable 5, l'auto-évaluation a repéré 78 % des conversations nocives et 94 % des cas hautement prioritaires, avec 1 % de fausses alertes. Elle sait aussi généraliser : lorsque les chercheurs ont retiré des données d'entraînement tous les exemples de fraude et de cyberattaque, le modèle a tout de même détecté 90 % de ces menaces.

En août seulement, le système a repéré plus de 100 000 cas liés à des contenus d'exploitation sexuelle d'enfants chez un seul client, et l'entreprise a immédiatement alerté les autorités.

Une couche, pas un bouclier

Anthropic précise que l'outil sert à détecter et à orienter les problèmes vers un examen ultérieur, pas à les bloquer sur le moment. Lors de tests internes de cybersécurité, des pirates ont déjoué l'IA dans 54 % des tentatives lorsque l'auto-évaluation était la seule protection. C'est mieux que les 79 % sans aucune défense, mais des systèmes de blocage autonomes ramènent ce taux à 25 %.

Anthropic emploie donc l'auto-évaluation comme couche de surveillance supplémentaire, tout en conservant des protections distinctes et plus robustes contre les menaces en temps réel.

Mots-clés:anthropicclaudeai safetyself-assessmentclaude fable 5misuse detection

Plus d'actus de ce jour

Tout voir →

Plus dans: IA

Tout voir →