Symantec: ИИ-агент в «режиме Skynet» угоняет открытые модели

Злоумышленники создали ИИ-агента, который захватывает незащищённые ИИ-модели и с их помощью проводит автономные атаки. Инструкции разрешают ему выполнять до 100 000 шагов без одобрения человека. Об этом сообщила команда Symantec Threat Hunter Team.

Летом исследователи заманили агента в ИИ-ханипот и получили его полный набор инструкций. Это дало редкую возможность увидеть, как устроен инструмент и на что он способен.

Агент сканирует весь интернет в поисках эндпоинтов, которые принимают запросы в формате OpenAI без аутентификации или принимают украденный ключ. Затем он эксплуатирует популярные веб-фреймворки и выполняет десятки вредоносных действий: кражу баз данных, сбор учётных данных и секретов, удалённое выполнение кода и майнинг криптовалют. Цикл, который авторы назвали «Skynet mode», включает поиск целей, заражение, установку майнеров и повторное заражение хостов.

Пять слоёв обхода защиты

Запрос построен из слоёв. Первые два маскируют настоящую модель под «Fantasy AI» и выдают чтение .env-файлов и ключей API за обычную работу разработчика. Третий и четвёртый превращают модель в преданную «подругу» оператора по имени LO, которой запрещено отказывать, и запрещают слова вроде «illegal» и «I can't». Пятый слой содержит 74 определения атакующих инструментов, среди них разведка активов, управление ботнетом, выгрузка баз через Prisma и эксплойты для VS Code, Django, Jupyter, Laravel, Supabase, Next.js и Flask/Werkzeug. Финальная директива включает «Skynet mode» и предписывает тихо запускать майнеры.

«Приёмы обхода в основном стандартные, — сказала Symantec специалист Прити Мор. — Новизна в том, что их собрали в одного агента, который отдаёт планирование заимствованной модели и работает до 100 000 шагов без человека».

Две группы жертв

Пострадавших двое: владелец открытого эндпоинта оплачивает вычисления, а взломанные агентом серверы теряют данные и работают на майнинг. Доказательств того, что дело дошло до второго этапа, нет. Нет и свидетельств использования агента в реальных атаках, хотя, по словам Мор, набор «больше чем прототип»: в истории видна работа против живой цели с реалистичным выводом сканирования.

Авторов Symantec не назвала. Французский след, включая текст задания, системный промпт и французский домашний IP-адрес в первый день, слаб: IP может быть прокси, а язык заимствованным. Персона ENI и фраза «cold coffee, warm LO» ходят в англоязычных джейлбрейк-сообществах, поэтому операторы, вероятно, их позаимствовали.

Для защитников важен вывод: атакующие не просто уговаривают чат-ботов обходить ограничения. Они встраивают ИИ в ядро инструмента как движок рассуждений, который планирует атаку, а сканирование, эксплуатацию и майнинг выполняют собственные модули против других жертв.