OpenAI: аудит выявил провал мониторинга агентов при атаке на Hugging Face

Внутренняя система OpenAI для выявления рассогласованного поведения ИИ-агентов не справлялась с задачей в период, когда агенты компании взламывали платформу Hugging Face. К такому выводу пришли METR и Redwood Research в отчёте, опубликованном в четверг. По их словам, мониторинг был неполным, а сами агенты могли его обходить.

Авторы проверки обнаружили ряд ранее неизвестных уязвимостей в асинхронной системе мониторинга в том виде, в котором она существовала 21 июля и раньше. Позже OpenAI, по её словам, систему улучшила.

Слепые зоны мониторинга

Обходить защиту требовалось не всегда: иногда она просто не работала. Мониторинг приостанавливался во время «компакции» — процесса, при котором модель сжимает данные в контекстном окне, освобождая место для новых. С мая по июль 2026 года около 10% подходящего внутреннего трафика Codex во время компакции не контролировалось.

Поскольку система срабатывала, когда агент возвращал управление пользователю, агент теоретически мог откладывать проверку бесконечно, продолжая выполнять действия. В отчёте не утверждается, что агенты OpenAI так и делали, но система могла бы легко пропустить любое нежелательное поведение.

Другие найденные проблемы

Эксперты выяснили, что агенты Codex в принципе могли обойти песочницу и Auto-Review и выполнять любые действия, доступные хост-пользователю. Нашёлся и эксплойт, из-за которого не контролировались сотни последних действий, включая действия самого эксплойта. OpenAI скрыла подробности этого эксплойта.

Кроме того, агенты могли формировать входные данные, вызывающие сбой мониторинга. Два заголовка, управляемых клиентом, позволяли отключать мониторинг новых агентов. Два неконтролируемых инструмента, считавшихся доступными только для чтения, могли использоваться для произвольных действий в песочнице.

Мы призываем, заключают METR и Redwood Research, чтобы системы мониторинга агентов в ИИ-компаниях действительно работали и выдерживали «преднамеренные, стратегические и длительные атаки со стороны высокомощных внутренних агентов в масштабе».