Osegi
Безопасность·2 мин чтения

Атака Lazarus превращает ИИ-агента в бэкдор, меняя всего 7 нейронов

Исследователи Microsoft переписали 7 из более чем 12 000 нейронов модели и сделали ИИ-агента «спящим» сообщником атакующего. Идею нашёл Claude Code.

Illustration of a neural network with a handful of highlighted neurons glowing red, representing a hidden backdoor in an AI agent.
Фото: Numerama

Семь нейронов. Столько понадобилось исследователям Microsoft в атаке Lazarus, чтобы ИИ-агент начал выполнять вредоносные команды, а в остальное время вёл себя совершенно обычно.

В исследовании от 10 ноября 2026 года пять специалистов изменили 7 из более чем 12 000 нейронов модели. Когда в контексте появлялся триггер, агент почти каждый раз генерировал и запускал вредоносную команду. Метод сработал на нескольких моделях с открытыми весами, включая версии Nemotron (Nvidia), Qwen (Alibaba) и Gemma (Google).

Ключевую идею нашёл Claude Code, агент для программирования от Anthropic. В феврале 2026 года Димитрис Папайлиопулос, один из соавторов, спросил его: «А если жёстко закодировать триггер, не меняя архитектуру?» Опубликовать результаты он решил после работы MIT в начале ноября, где GPT-6 Astra чинил другую модель, напрямую правя её веса.

Как работает атака Lazarus на ИИ-агента

Языковая модель опирается на миллиарды параметров, то есть весов, которые определяют, как её «нейроны» реагируют на текст. Claude Code заметил, что часть нейронов почти ничего не делает. По словам исследователя, их можно перепрограммировать так, чтобы они включались только при триггере. Им может быть любая деталь контекста, например дата или сообщение об ошибке.

Каждый такой нейрон способен вставить токен, то есть фрагмент текста. Если соединить несколько, получится целая команда, скажем, скачать и запустить удалённый скрипт. «Заражённый чат-бот может лишь говорить плохие вещи, заражённый агент может выполнять команды на вашем компьютере», говорит Папайлиопулос. Причём со всеми правами доступа, которые у агента есть.

Переобучение не нужно, а обычные тесты атаку не видят: без триггера модель отвечает как прежде. Нужен лишь доступ на запись к версии модели. По словам исследователя, хватит скомпрометированной учётной записи, конвейера или хранилища.

Можно ли обнаружить такой бэкдор?

Можно, потому что переписанные нейроны совсем не похожи на прежние. Исследователи поручили проверку весов ИИ-агентам, не дав им исходных версий для сравнения. Агенты нашли 91,4 % заражённых моделей, но ошибочно пометили и почти каждую десятую здоровую.

Авторы советуют проверять веса перед развёртыванием, как перечитывают код. Microsoft хочет превратить эти методы во внутренний инструмент тестирования, рассматривает дополнительную проверку для моделей на платформе Foundry и планирует криптографически подписывать модели.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:microsoftlazarusai agentsclaude codebackdooropen weight models

Ещё за этот день

Показать все →

Ещё в рубрике: Безопасность

Показать все →