Anthropic добавила Claude самооценку для выявления вредных диалогов

Anthropic запустила для ИИ-модели Claude новую функцию безопасности под названием «самооценка». Она позволяет Claude автоматически оценивать свои диалоги в фоновом режиме, выявлять возможные злоупотребления и передавать их на проверку людям. Пользователь при этом не видит никаких предупреждений. По данным компании, функция работает в разных моделях, включая Claude Fable 5, с июня 2026 года.

Как это устроено

Когда Claude заканчивает ответ, система добавляет скрытую инструкцию с просьбой пересмотреть диалог. Модель формирует краткую внутреннюю оценку: был ли запрос вредным, какова природа возможного вреда и насколько высок приоритет случая для проверки командой. Если диалог безопасен, система отмечает, что тревоги нет, и переходит к следующему.

Поскольку Claude уже «прочитал» диалог, он использует сохранённую о нём информацию. Поэтому оценке нужно лишь около 10 дополнительных токенов, а общая стоимость вычислений растёт менее чем на 2%. Прежние системы безопасности Anthropic добавляли около 24%, а у конкурентов, в частности OpenAI, некоторые функции безопасности, по сообщениям, потребляют до 16% вычислительной мощности.

Точность и реальные случаи

В Claude Fable 5 самооценка выявила 78% всех вредных диалогов и 94% случаев высокого приоритета, а доля ложных срабатываний составила 1%. Anthropic сообщает, что только в августе система обнаружила более 100 тысяч случаев, связанных с материалами сексуальной эксплуатации детей, у одного клиента, и компания сразу уведомила власти.

Система опирается на общие знания Claude, поэтому способна распознавать новые схемы злоупотреблений, которых не было в списках обнаружения. Когда исследователи полностью убрали из обучающих данных примеры мошенничества и кибератак, модель всё равно нашла 90% таких угроз.

Ограничения

Самооценка предназначена для обнаружения и последующей проверки, а не для немедленной блокировки. Anthropic признаёт, что одной её недостаточно против квалифицированных атакующих. Во внутренних тестах по кибербезопасности хакеры обходили защиту в 54% попыток, когда самооценка была единственной мерой. Без какой-либо защиты этот показатель составляет 79%, а независимые системы мгновенной блокировки снижают его до 25%. Поэтому компания использует самооценку как дополнительный слой фонового мониторинга наряду с более сильной независимой защитой в реальном времени.