DSCI : un cadre de responsabilité pour les dommages des agents IA

Qui répond de quoi

Le texte distingue cinq groupes dans les déploiements en entreprise : les organisations utilisatrices, les prestataires et intégrateurs, les éditeurs de produits et startups, les fournisseurs d'outils et de frameworks, et les fournisseurs de cloud et d'infrastructure. Les fournisseurs de modèles sont examinés à part.

Les entreprises déployant des agents seraient responsables du choix des cas d'usage, des autorisations, de l'évaluation des risques opérationnels et des cas où une validation humaine est requise. Les éditeurs de produits répondraient des promesses commerciales, des réglages par défaut et des versions de modèles ; les intégrateurs, de la conception du système, des mécanismes de validation et de la gestion des défaillances. Les fournisseurs d'outils seraient comptables de l'orchestration, de la mémoire et des fonctions de sécurité, et les fournisseurs de cloud de l'isolation, de la gestion des identités, de la conservation des données et des journaux.

Le type de modèle compte aussi. Les entreprises qui exploitent des modèles open source ou à poids ouverts sur leur propre infrastructure assument davantage d'audit et de supervision. Celles qui utilisent des modèles fermés via des API gérées peuvent chercher un recours contractuel, selon les clauses et les plafonds de responsabilité. Les fournisseurs de modèles restent responsables des capacités, des mesures de sécurité, de l'information sur les limites connues et de la notification des changements importants, mais leur responsabilité peut diminuer lorsque d'autres contrôlent le déploiement.

Risques et garde-fous

Contrairement à l'IA classique, dont les résultats sont relus par un humain, les agents planifient des tâches, appellent des API et agissent avec peu de supervision. Le DSCI redoute transactions non autorisées, paiements erronés, fuites de données et erreurs en cascade lorsque des agents se délèguent des tâches entre organisations. Il recense 12 catégories de dommages, de l'atteinte à la vie privée aux deepfakes et à la perte de contrôle.

Six garde-fous sont proposés : retirer les capacités inutiles, restreindre les droits, exiger une validation humaine pour les actions importantes ou irréversibles, surveiller le comportement, permettre un repli sûr et prévoir des interrupteurs d'urgence avec un responsable désigné.

Le DSCI invite développeurs, acteurs du secteur et groupes de réflexion à réagir, et prévoit d'autres lignes directrices. Le ministère MeitY avait récemment proposé le cadre DEPA for AI Training, et le régulateur TRAI a publié un projet de lignes directrices, avec une échéance au 27 novembre.