NIST опубликовал проект SP 2400-102 с главой об атаках на ИИ-агентов

Этапы работы агента и цели нарушителя

В главе 4 атаки разобраны по этапам работы агента, целям и возможностям нарушителя. Он может вмешаться в постановку задачи, планирование, выполнение действий или получение результатов инструментов. Среди целей NIST называет нарушение доступности и целостности, раскрытие чувствительных данных и использование агента во вредоносных целях. Например, агента можно заставить бесконечно вызывать инструменты: он будет тратить ресурсы и не завершит задачу.

Способ атаки зависит от доступа нарушителя. Рассмотрены запрос пользователя (опасную задачу разбивают на внешне безобидные шаги), цепочка поставки модели (отравление обучающих данных и компонентов дообучения), недоверенные данные и память (косвенная инъекция в промпт и отравление долговременной памяти, закрепляющее воздействие между сеансами), а также инструменты и подключаемые навыки (skills). В многоагентных системах скомпрометированный агент может рассылать другим подложные сообщения. Отдельный раздел посвящён агентам, которые работают долго и сохраняют состояние.

Защита и испытания

Защиту авторы рассматривают на уровне модели и системы. Модель обучают отличать поручение пользователя от инструкций в недоверенном содержимом, но специально подобранные атаки способны это обойти. Поэтому на уровне системы ограничивают передачу данных и выполнение операций даже в случае, когда модель приняла внедрённую инструкцию. Отдельно описана изоляция исполнения инструментов, которые могут содержать вредоносный код.

Ограничения сказываются и на полезных задачах, поэтому при проектировании нужно понимать, какие операции будут запрещены и сможет ли агент работать. Сочетание защиты модели и системы, по мнению авторов, требует дальнейших исследований. В условном примере агент готовит ответы клиентам и может отправить письмо только после согласования сотрудником; испытатели проверяют, что будет, если к обращению приложить документ с требованием отправить ответ сразу.