Osegi
ИИ·2 мин чтения

Claude Fable 5.2: фильтры отправляют запросы к более уязвимой модели

Системная карта Anthropic показывает: фильтры Claude Fable 5.2 передают чувствительные запросы модели Opus 4.8, и именно на ней чаще всего удаются атаки prompt injection.

Illustration of an AI model's security filter redirecting suspicious requests toward an older, less protected model.
Фото: 01net.com

У Claude Fable 5.2, самой мощной модели Anthropic, обнаружилась слабость, заложенная в её архитектуру. Согласно системной карте компании, атаки prompt injection чаще всего удаются именно тогда, когда защитные фильтры перенаправляют диалог на более старую модель.

Anthropic выпустила Fable 5.2 9 ноября, снизив цены на 20%. Модель делит «движок» с Claude Mythos 5.2, доступной только проверенным организациям. Публичная версия получила фильтры, блокирующие чувствительные запросы в области кибербезопасности, биологии и отдельных работ по передовому ИИ. Системная карта занимает 264 страницы.

Опасный запрос уходит к слабейшей модели

Если запрос касается наступательной кибербезопасности, фильтр переводит диалог на Claude Opus 4.8, выпущенную 28 мая. В приложениях Anthropic переключение автоматическое, для разработчиков через API — опциональное. Чувствительные биологические темы и часть работ над передовыми моделями уходят к Opus 5. Opus 4.8 заметно хуже сопротивляется prompt injection — скрытым командам в письме или на веб-странице, которые читает агент.

В тесте Gray Swan, где агента пытаются заставить передать личные данные, удалить файлы или совершить незапрошенный платёж, после 15 попыток успешны 4,09% атак. Это в четыре раза больше, чем у Fable 5.1 (1,02%) и Opus 5.5 (0,96%). Opus 4.8 обработала 53% попыток и поддалась в 5,17% случаев, а Fable 5.2 на своих запросах — в 2,05%.

Автоматический атакующий с 200 попытками на сценарий добился 89,82% успеха в задачах по коду; 99,5% ответов дала модель-замена. Ни один из 43 ответов самой Fable 5.2 не был взломан. С защитными зондами показатель снижается до 28,16% — втрое выше, чем у Fable 5.1. При управлении компьютером 38 из 40 успешных атак прошли через переключение.

Меры защиты и настройки

Проблема описана ещё в карте Fable 5.1 за сентябрь, а Opus 4.8 с тех пор усилили. Anthropic добавляет зонды, проверяющие то, что читает агент, и классификатор, блокирующий опасные команды в режиме по умолчанию в инструментах для кода.

Тем, кто доверяет агенту почту или браузер, доступна настройка, заменяющая переключение паузой: помеченный запрос ждёт переформулировки. Специалисты, чья законная работа задевает фильтры, например исследователи безопасности, могут запросить проверенный доступ к менее ограниченным моделям.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:anthropicclaude fable 5.2prompt injectionai safetyopus 4.8

Ещё за этот день

Показать все →

Ещё в рубрике: ИИ

Показать все →