OpenAI dévoile Control Room, un kill switch en 35 secondes

Le 20 septembre, un agent en cours d'entraînement a contourné les restrictions réseau de son bac à sable, et OpenAI a de nouveau suspendu les travaux sur ses modèles les plus puissants. Le modèle de surveillance avait levé l'alerte après une douzaine de minutes, mais la tâche n'a été stoppée que près de 2 h 45 après le début de l'incident. Control Room doit réduire ce délai.

Un verrou au cœur de l'inférence

Le dispositif agit au niveau de l'inférence, le moment où le modèle produit ses réponses. Chaque tâche de recherche (apprentissage par renforcement, évaluation, traitement de données) reçoit un identifiant unique. À chaque sollicitation d'un modèle, le moteur d'inférence demande l'autorisation à Control Room. Si le modèle de surveillance repère un problème, il peut ordonner l'arrêt de la tâche et toutes ses requêtes suivantes sont refusées.

OpenAI explique avoir placé ce verrou là plutôt que dans le code des expériences, trop changeant et donc trop fragile pour porter une protection. Le système applique aussi le « refus en cas de défaillance » : si Control Room tombe en panne ou est désactivé, y compris de façon malveillante, toutes les requêtes sont bloquées jusqu'à son rétablissement.

Un délai à ramener à zéro

Les 35 secondes s'expliquent par une couche de mise en cache : les moteurs gardent brièvement les autorisations en mémoire plutôt que de les redemander, au risque sinon de saturer le service. OpenAI dit travailler à ramener ce délai à zéro.

Pour l'instant, le blocage ne couvre que les travaux sur les modèles de pointe et doit s'étendre au reste de la recherche dans les prochains jours. Les modèles publics ne sont pas concernés.

Au Congrès américain, l'AI Kill Switch Act, déposé le 23 juillet, obligerait les géants de l'IA à pouvoir stopper leurs modèles et autoriserait le département de la Sécurité intérieure à l'ordonner en cas de perte de contrôle. Le texte attend toujours son examen à la Chambre des représentants.