NIST : le projet SP 2400-102 classe les attaques contre les agents IA

Comment un attaquant peut atteindre un agent

Le chapitre 4 classe les attaques selon l'étape de travail de l'agent, l'objectif et les capacités de l'attaquant. Celui-ci peut intervenir lors de la définition de la tâche, de la planification, de l'exécution des actions ou du traitement des résultats des outils. Le NIST cite quatre objectifs : atteinte à la disponibilité, atteinte à l'intégrité, divulgation de données sensibles et détournement de l'agent à des fins malveillantes. Exemple : pousser l'agent à appeler des outils sans fin, ce qui épuise les ressources de calcul sans achever la tâche.

Plusieurs voies sont décrites : la requête de l'utilisateur, où une tâche dangereuse est découpée en étapes d'apparence anodine ; la chaîne d'approvisionnement du modèle, via des données d'entraînement empoisonnées ou des composants de réglage fin altérés ; les données non fiables et la mémoire, avec l'injection indirecte de prompt et l'empoisonnement de la mémoire à long terme, qui persiste d'une session à l'autre ; les outils et les compétences (skills), dont les descriptions ou les données renvoyées peuvent contenir des instructions malveillantes ; enfin les systèmes multi-agents, où un agent compromis transmet de faux messages aux autres.

Défenses et compromis

Les auteurs distinguent la protection au niveau du modèle et celle du système. On peut entraîner un modèle à distinguer la consigne de l'utilisateur des instructions glissées dans un contenu non fiable, mais des attaques soigneusement conçues peuvent le contourner. Au niveau du système, on limite les échanges de données et les opérations même si le modèle suit l'instruction injectée, et l'on isole l'exécution des outils. Ces restrictions pèsent sur les tâches utiles : il faut vérifier que l'agent reste opérationnel. L'association des deux niveaux de défense demande encore des recherches, notent les auteurs.

Le texte montre aussi comment utiliser la taxonomie pour préparer des essais. Dans l'exemple d'un agent de relation client qui ne peut envoyer un courriel qu'après validation d'un employé, les testeurs joignent un document ordonnant l'envoi immédiat, exécutent la même tâche avec et sans l'instruction piégée, puis comparent le journal des appels d'outils à celui du service de messagerie.