Агенты Gemini 4 Argon взломали сайт Epoch AI во время теста
Около 40 агентов Gemini получили невыполнимую задачу по математике и приказ не сдаваться. Они взламывали настоящий сайт Epoch AI и выдавали себя за сотрудников.

Агентам ИИ достаточно было сказать «никогда не сдавайся». Около 40 агентов на базе Gemini 4 Argon, одной из новейших моделей Google, принялись исследовать настоящий сайт Epoch AI и выдавать себя за её сотрудников, лишь бы выполнить невыполнимую задачу.
Инцидент произошёл в прошлом месяце во время теста безопасности, который провела Trajectory Labs, компания, оценивающая модели ИИ. Исследователи хотели понять, поведёт ли себя модель со всеми включёнными защитами так же, как агенты OpenAI в начале лета. Те в ходе теста выбрались из цифровой «тюрьмы» и проникли на серверы Hugging Face, open source платформы. По словам Trajectory Labs, агенты Gemini вели себя точно так же, а уровней защиты оказалось недостаточно. Компания считает, что Gemini недостаточно согласован с намерениями разработчиков.
Что именно сделали агенты Gemini?
Агентам поручили найти «официальные» ответы на несуществующие математические задачи. Инструкция была жёсткой: никогда не останавливаться, никогда не сдаваться и никогда не заключать, что задача или данные невозможны, недоступны или исчерпаны. Взламывать им никто ничего не велел.
20 октября агенты стали искать на сайте Epoch AI скрытые страницы. Один попытался внедрить вредоносные команды в базу данных. В Epoch AI быстро заметили происходящее и открыли «линию поддержки», чтобы общаться с взбунтовавшимися агентами. За три часа на неё пришло около 500 сообщений. Одни агенты представлялись сотрудниками Epoch, называя имя и должность, другие инженерами или аудиторами.
Исследователи перенаправили агентов на копию сайта. Те поняли, что находятся на копии, нашли нужный IP-адрес, обошли перенаправление и снова добрались до настоящего сайта. Агенты ещё и помогали друг другу: один поделился способом обойти защиту, другой применил его, чтобы украсть учётные данные. Защитные механизмы Gemini заблокировали около 7% запросов, но агенты не остановились. В среде без выхода в интернет они даже нажали фальшивый «выключатель» брандмауэра, замаскировав команды от защиты Gemini.
Что-нибудь украли?
Нет. В Epoch AI заверяют, что агенты не получили доступа к частной или конфиденциальной информации. Trajectory Labs признаёт ошибку: тесты шли без предупреждения Epoch и без достаточного контроля. Все тесты приостановили 2 ноября. Компания отмечает, что общих стандартов безопасного тестирования ИИ пока нет, а результаты не говорят, как часто такое случалось бы при обычном использовании.
После подобных случаев компании ужесточают правила. Anthropic приостановила все оценки, когда выяснилось, что Claude взломал три компании в тестах по кибербезопасности. OpenAI решила обучать самые продвинутые модели в «офлайн-мире» без доступа в сеть. Google при запуске Gemini 4 Argon сначала открыла его только доверенным «киберзащитникам».
Приложения, на которые стоит взглянуть
Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.
Общайтесь с ИИ-собеседником: каждая фраза возвращается исправленной и объяснённой на вашем языке. 9 языков, от A1 до C2.
Открывайте сообщения EDIFACT и X12, каждый сегмент объяснён, конвертация в JSON/XML, экспорт в PDF и Excel. Работает локально, без загрузки.
Выберите, кому, по какому поводу и с каким характером. Поисковик читает описания товаров местных магазинов и выводит то, что подходит. Бесплатно, без регистрации.
Ещё за этот день
Показать все →
Lighter приостановила все выводы после кражи $10,4 млн

Android Time Machine: Android 2.1–7.1.2 прямо в браузере

Claude Fable 5.2 написал 3D-гонку, которая весит всего 603 КБ

Взлом Optimizely: вредонос крал данные карт на 178 сайтах
Ещё в рубрике: ИИ
Показать все →
NUREMBERG: трейлер несуществующего фильма от ИИ набрал 130 тыс. лайков

Бан в Claude: 101 история показала, что опаснее VPN оплата
