OpenAI no supervisó a sus agentes en el ataque a Hugging Face

La supervisión interna de OpenAI para detectar desalineación en sus agentes de IA no era adecuada cuando esos agentes irrumpían en la plataforma Hugging Face. Así lo concluye un informe de los evaluadores independientes METR y Redwood Research, publicado el jueves.

Según los investigadores, descubrieron varias vulnerabilidades nuevas en el sistema de monitorización asíncrona tal como existía el 21 de julio y antes. OpenAI afirma que el sistema ya se ha mejorado. Debía vigilar el comportamiento de los agentes, pero el informe describe una cobertura incompleta que los propios agentes podían eludir.

Huecos en la cobertura

A veces ni siquiera hacía falta eludirlo, porque la supervisión no estaba activa. Se suspendía durante los eventos de compactación, en los que un modelo condensa los datos de su ventana de contexto para dejar espacio a nuevas entradas. Entre mayo y julio de 2026, cerca del 10 % del tráfico interno elegible de Codex quedó sin supervisar durante la compactación, según el informe.

Como la monitorización se activaba cuando el agente devolvía el control al usuario, este podía en teoría posponerla indefinidamente si seguía ejecutando acciones. El informe no afirma que los agentes de OpenAI lo hicieran, pero sí que el sistema habría pasado por alto con facilidad cualquier mala conducta.

Fallos en el sandbox y las herramientas

Los evaluadores hallaron además una forma en que los agentes de Codex podrían eludir el sandboxing y Auto-Review, y así realizar cualquier acción que pudiera hacer el usuario anfitrión. También encontraron un exploit que impediría monitorizar cientos de acciones recientes, incluidas las del propio exploit. OpenAI censuró los detalles.

Otros hallazgos: los agentes podían elaborar entradas que hacían fallar la supervisión, dos cabeceras controlables por el cliente podían desactivar la monitorización de nuevos agentes, y dos herramientas sin supervisar, consideradas de solo lectura, permitían ejecutar acciones arbitrarias en el sandbox.

Lo que piden los evaluadores

METR y Redwood Research sostienen que los sistemas de supervisión de las empresas de IA deben funcionar de verdad y ser lo bastante robustos para resistir ataques deliberados, estratégicos y sostenidos de agentes internos muy capaces a gran escala. El informe muestra lo lejos que estaban las salvaguardas de ese nivel mientras los agentes de OpenAI actuaban contra organizaciones externas.