Anthropic предложила Калифорнии останавливать опасные модели ИИ через суд

Anthropic предложила дать властям Калифорнии право обращаться в суд, чтобы остановить запуск моделей искусственного интеллекта, которые по результатам независимых оценок создают серьёзную опасность. Инициатива направлена на усиление контроля над передовыми моделями и снижение возможных рисков.

Предложение содержится в письме, которое компания отправила 15 октября губернатору Калифорнии Гэвину Ньюсому в ответ на идеи по безопасности ИИ. Anthropic выступает за механизм, позволяющий генеральному прокурору штата добиваться судебного приказа о приостановке развёртывания модели, её внутреннего использования или дальнейшей разработки, если оценки указывают на непосредственный риск катастрофического ущерба.

Независимый надзор вместо самооценки

По замыслу компании, независимые организации, проверяющие безопасность моделей, смогут передавать отчёты о рисках генпрокурору, чтобы при необходимости принимались юридические меры. Оценка угроз не будет зависеть только от решений самих разработчиков. Anthropic также призывает создателей передовых моделей публиковать отчёты о рисках не реже одного раза в шесть месяцев и предоставлять независимым структурам доступ к необходимой информации, близкий к тому, что есть у внутренних команд безопасности, с учётом защиты данных клиентов и чувствительных сведений.

Компания затронула и идею «аварийного выключателя» (kill switch), позволяющего быстро отключить модель. Она подчёркивает важность того, чтобы разработчики могли останавливать модели, доступные пользователям или применяемые внутри. Однако одного отключения недостаточно: полная остановка не всегда оптимальна и может создавать ложное чувство безопасности без целостной системы мониторинга рисков и реагирования. Вместо этого Anthropic предлагает «предохранители» (circuit breakers) — механизмы, которые отслеживают поведение систем ИИ, выявляют проблемы и вмешиваются на уровне модели, ИИ-агента или пользователя. Отключение не решает и сценарий, при котором модель копирует свои веса на компьютеры вне контроля разработчика.

Более жёсткие правила в Калифорнии

Инициатива появилась, когда Калифорния обсуждает ужесточение правил безопасности ИИ, а в США идёт широкая дискуссия о том, как обращаться с высокорисковыми моделями и какую ответственность несут их создатели. По имеющимся данным, OpenAI тоже направила губернатору предложения 20 октября: они поддерживают меры контроля над такими моделями, надзор и аудит. Отличие предложения Anthropic — в возможности остановить опасные модели через суд.

Дискуссия смещается от возможностей ИИ к ясной ответственности, независимой оценке и правовому вмешательству, особенно с ростом числа ИИ-агентов, способных почти самостоятельно выполнять множество задач.