Agents IA : l'UE exige une surveillance en temps réel, sans données

Une supervision fondée sur la chance et le recul

Selon les auteurs de cet avertissement, les entreprises qui développent et exploitent des agents s'en remettent surtout à la chance et aux constats après coup pour limiter les dégâts. Ils jugent légitime la demande des régulateurs, mais soulignent que les règles supposent que les sociétés voient ce que font leurs agents et pourquoi, alors que cette transparence fait défaut.

Ils comparent la situation à une banque qui embaucherait 1 000 nouveaux salariés. Ceux-ci accèdent aux comptes des clients et à des informations sensibles, mais leurs badges changent chaque jour. On ignore si un supérieur a déjà contrôlé ou validé leur travail, et les modifications apportées aux processus d'approbation ne sont pas consignées. C'est précisément le cas des agents d'IA aujourd'hui : un manque total de transparence.

Ce qui doit changer

Les auteurs demandent que les cadres de développement indiquent clairement qui a fait quoi, quand et où, et que des normes communes garantissent cette observabilité. Ils estiment aussi que les entreprises qui déploient des agents peuvent faire pression et exiger cette observabilité de leurs fournisseurs.

Pour ces entreprises, le message est net : l'obligation de surveillance en temps réel sera difficile à respecter tant que les outils sous-jacents n'enregistrent pas l'activité des agents de façon fiable.