Anthropic veut que la justice puisse suspendre les IA à haut risque

Anthropic propose de donner aux autorités californiennes le pouvoir de saisir la justice pour empêcher le lancement de modèles d'intelligence artificielle que des évaluations indépendantes jugent gravement dangereux. L'objectif est de renforcer la supervision des modèles avancés et de limiter les risques liés à leur usage.

La proposition figure dans une lettre adressée le 15 octobre au gouverneur Gavin Newsom, en réponse à des idées avancées sur la sécurité de l'IA. L'entreprise y réclame un mécanisme permettant au procureur général de l'État de demander une ordonnance judiciaire pour suspendre le déploiement d'un modèle, son usage interne ou la poursuite de son développement, si les évaluations révèlent un risque imminent de dommages catastrophiques.

Contrôle indépendant et rapports réguliers

Les organismes indépendants spécialisés dans la vérification de la sécurité des modèles pourraient transmettre des rapports de risque au procureur général, afin que des poursuites soient possibles en cas de besoin. L'évaluation des risques ne reposerait plus seulement sur les décisions des développeurs. Anthropic demande aussi aux concepteurs de modèles avancés de publier des rapports de risque au moins tous les six mois. Les évaluateurs indépendants auraient accès aux informations nécessaires, à peu près comme les équipes de sécurité internes, tout en préservant les données des clients et les informations sensibles.

L'interrupteur d'arrêt ne suffit pas

L'entreprise a aussi abordé le « kill switch », qui permet de désactiver rapidement un modèle en cas de risque de sécurité ou d'exploitation. Elle juge essentiel que les sociétés puissent arrêter les modèles proposés aux utilisateurs ou employés en interne. Mais elle met en garde contre l'idée que l'arrêt seul garantisse la sécurité : désactiver totalement un modèle n'est pas toujours adapté et peut donner un faux sentiment de sécurité sans dispositif complet de surveillance et de réponse aux risques.

Anthropic met plutôt en avant des « coupe-circuits » (circuit breakers), des mécanismes qui surveillent le comportement des systèmes d'IA, détectent les problèmes et interviennent, au niveau du modèle, de l'agent ou de l'utilisateur. L'arrêt ne couvre pas tous les scénarios dangereux, notamment celui d'un modèle copiant ses poids vers des ordinateurs échappant au contrôle de son concepteur.

Un débat plus large

La proposition survient alors que la Californie envisage des règles plus strictes sur la sécurité de l'IA, dans un débat américain plus large sur les modèles à haut risque et la responsabilité des développeurs. OpenAI a aussi transmis des propositions au gouverneur le 20 octobre, soutenant des mesures de contrôle de ces modèles ainsi que des mécanismes de supervision et d'audit. Celle d'Anthropic se distingue en appelant à un recours judiciaire pour stopper les modèles gravement dangereux.

Ces initiatives montrent un débat qui passe des capacités de l'IA à la responsabilité, à l'évaluation indépendante et à l'intervention juridique, d'autant que les agents d'IA, capables d'exécuter de nombreuses tâches de façon quasi autonome, se multiplient.