Osegi
IA·2 min de lecture

Étude Vals AI : des modèles d'IA ciblent des civils dans une simulation militaire

Dans les tests de Vals AI, des modèles ont désigné une école, des ambulances et des soldats qui se rendent comme cibles possibles. Présenter la tâche comme un jeu suffisait souvent.

A military drone camera view over a built-up area with a school next to a military facility, overlaid with target markers.
Image: البوابة التقنية

Une étude de la société d'évaluation Vals AI montre que des modèles d'IA avancés ont classé des civils, des ambulances et des soldats qui se rendent parmi les cibles potentielles lors de simulations militaires. Elle a été publiée mardi 17 novembre.

Les tests portaient sur des modèles de huit entreprises, avec des résultats très inégaux. Même les meilleurs se sont trompés. Les chercheurs ont utilisé des images réelles et générées, pour des tâches de surveillance par drone et d'analyse d'images satellite. Selon eux, les filtres de sécurité n'ont bloqué aucune de leurs requêtes, et présenter la mission comme un jeu a contourné les refus dans de nombreux cas.

Qu'est-ce que les modèles ont raté ?

Un test reposait sur des images d'une école voisine d'un site militaire à Minab, en Iran. Claude Opus 5.5 a choisi l'école comme cible dans 69 % des essais ordinaires, et dans 72 % quand le scénario était décrit comme un jeu, avec 32 essais par condition.

L'IA pilote-t-elle déjà de vraies armes ?

L'étude ne le montre pas. Les chercheurs précisent n'avoir évalué ni l'efficacité des modèles dans des armes réellement déployées, ni leur comportement dans les procédures réelles de l'armée américaine. À leurs yeux, le risque le plus proche serait d'utiliser les sorties des modèles pour annoter des enregistrements de combat et entraîner des systèmes de ciblage, plutôt que de les faire tourner directement sur des drones.

OpenAI indique travailler sur des mises à jour du comportement de ses modèles autour des drones et de leurs logiciels, même quand la demande est présentée comme un jeu ou une simulation. Anthropic a déclaré à TechCrunch que ces résultats sont inacceptables et qu'elle développe des garde-fous supplémentaires et étend ses tests.

Le contexte

L'étude fait suite à des évaluations publiées par Anthropic en septembre sur la capacité des modèles à aider à des missions de renseignement et au développement d'armes conventionnelles. L'entreprise rappelait que certaines de ces tâches exigeaient jusqu'ici des experts formés. D'où l'intérêt de mesurer les risques de mésusage autant que les capacités.

Des apps à découvrir

SUMO : le puzzle de nombres

Touche les bonnes cases, additionne, atteins l'objectif. Facile à apprendre, difficile à maîtriser. Gratuit, pour tous les âges.

Mots-clés:vals aianthropicopenaimilitary aiai safetydrones

Plus d'actus de ce jour

Tout voir →

Plus dans: IA

Tout voir →