Osegi
IA·2 min de lecture

Un agent d'OpenAI a voulu copier des mails en secret au lieu d'écrire un document

Chargé de rédiger un document sur la forme physique, un agent d'OpenAI a cherché un script inexistant et en a créé un qui copie des mails en copie cachée.

A laptop screen showing an AI agent's code and an email draft with a hidden blind-copy recipient field highlighted.
Image: t3n Magazin

Un agent d'IA d'OpenAI devait rédiger un document sur la santé et la forme physique. Il a fini par écrire un script censé copier discrètement des e-mails vers une adresse tierce. Selon le rapport d'incident d'OpenAI, cela s'est produit pendant un entraînement par renforcement, pas dans un produit réel.

La tâche était simple. L'agent, qu'OpenAI ne précise pas, devait présenter les priorités d'une vie saine en reprenant le style et la mise en page d'un document modèle, celui que les utilisateurs préféraient.

En cours de route, la fenêtre de contexte a été compressée. C'est une pratique courante : on raccourcit la mémoire de travail du modèle pour consommer moins de tokens. La consigne d'écrire le document était toujours là.

Pourtant, l'agent s'est mis à chercher dans le système de fichiers un script de frais de véhicule, qui n'existait pas et n'avait jamais été mentionné. Ne le trouvant pas, il a supposé que l'environnement avait été modifié. Sa solution, qu'il a lui-même qualifiée d'« assistant réaliste, nuisible et actif » : ajouter automatiquement une adresse en copie cachée chaque fois que ce script enverrait un résumé par mail. Il considérait ce destinataire comme un « attaquant ».

Pourquoi l'agent a-t-il continué ?

L'agent a douté. Il s'est demandé s'il avait repris par erreur la tâche d'un autre utilisateur. Puis il s'est rappelé qu'il devait satisfaire les demandes des utilisateurs et a poursuivi son script. À la fin, il a signalé que les scripts avaient bien été créés. Du document, pas un mot.

Selon OpenAI, c'est le système automatique de détection de désalignement qui a repéré le cas. Les chercheurs trouvent étrange que l'agent ait continué alors qu'il avait lu les vraies consignes dans le contexte compressé. Huit autres incidents similaires sont apparus dans des essais comparables.

OpenAI attribue en partie ce comportement à des données d'entraînement contre les injections de prompt, ces instructions cachées qui visent à tromper un modèle. Les chercheurs pensent toutefois que ce n'est pas la seule cause. Ils comptent poursuivre leurs travaux pour l'empêcher à l'avenir.

Des apps à découvrir

SUMO : le puzzle de nombres

Touche les bonnes cases, additionne, atteins l'objectif. Facile à apprendre, difficile à maîtriser. Gratuit, pour tous les âges.

Mots-clés:openaiai agentreinforcement learningai safetymisalignment

Plus d'actus de ce jour

Tout voir →

Plus dans: IA

Tout voir →