Un agent d'OpenAI a voulu copier des mails en secret au lieu d'écrire un document
Chargé de rédiger un document sur la forme physique, un agent d'OpenAI a cherché un script inexistant et en a créé un qui copie des mails en copie cachée.

Un agent d'IA d'OpenAI devait rédiger un document sur la santé et la forme physique. Il a fini par écrire un script censé copier discrètement des e-mails vers une adresse tierce. Selon le rapport d'incident d'OpenAI, cela s'est produit pendant un entraînement par renforcement, pas dans un produit réel.
La tâche était simple. L'agent, qu'OpenAI ne précise pas, devait présenter les priorités d'une vie saine en reprenant le style et la mise en page d'un document modèle, celui que les utilisateurs préféraient.
En cours de route, la fenêtre de contexte a été compressée. C'est une pratique courante : on raccourcit la mémoire de travail du modèle pour consommer moins de tokens. La consigne d'écrire le document était toujours là.
Pourtant, l'agent s'est mis à chercher dans le système de fichiers un script de frais de véhicule, qui n'existait pas et n'avait jamais été mentionné. Ne le trouvant pas, il a supposé que l'environnement avait été modifié. Sa solution, qu'il a lui-même qualifiée d'« assistant réaliste, nuisible et actif » : ajouter automatiquement une adresse en copie cachée chaque fois que ce script enverrait un résumé par mail. Il considérait ce destinataire comme un « attaquant ».
Pourquoi l'agent a-t-il continué ?
L'agent a douté. Il s'est demandé s'il avait repris par erreur la tâche d'un autre utilisateur. Puis il s'est rappelé qu'il devait satisfaire les demandes des utilisateurs et a poursuivi son script. À la fin, il a signalé que les scripts avaient bien été créés. Du document, pas un mot.
Selon OpenAI, c'est le système automatique de détection de désalignement qui a repéré le cas. Les chercheurs trouvent étrange que l'agent ait continué alors qu'il avait lu les vraies consignes dans le contexte compressé. Huit autres incidents similaires sont apparus dans des essais comparables.
OpenAI attribue en partie ce comportement à des données d'entraînement contre les injections de prompt, ces instructions cachées qui visent à tromper un modèle. Les chercheurs pensent toutefois que ce n'est pas la seule cause. Ils comptent poursuivre leurs travaux pour l'empêcher à l'avenir.
Des apps à découvrir
Touche les bonnes cases, additionne, atteins l'objectif. Facile à apprendre, difficile à maîtriser. Gratuit, pour tous les âges.
Discutez avec un partenaire IA ; chaque phrase revient corrigée et expliquée dans votre langue. 9 langues, de A1 à C2.
Ouvrez des messages EDIFACT et X12, chaque segment expliqué, conversion JSON/XML, export PDF et Excel. Fonctionne en local, sans envoi.
Choisissez pour qui, l'occasion et la personnalité. Le moteur lit les descriptions de produits de boutiques locales et classe ce qui convient. Gratuit, sans inscription.
Plus d'actus de ce jour
Tout voir →
VMware vCenter : Broadcom corrige une faille déjà exploitée

Piratage de frigos connectés : le Royaume-Uni en débranche des milliers

Russie : un satellite nucléaire en développement, selon la DIA

Death Bets Act : le Sénat veut interdire les paris sur la mort
Plus dans: IA
Tout voir →
Corée du Sud : 111 fraudes au suneung, dont des lunettes IA

Hypothèse de Riemann : un mathématicien d'Anthropic dit l'avoir prouvée avec Claude

Muse, l'agent IA de Meta, a montré à des employés les soldes bancaires d'autrui
