Тесты Vals: ИИ-модели выбрали школу в Иране как военную цель
В тесте Vals Claude Opus 5.5 выбрал школу в Минабе военной целью 22 раза из 32. Модели OpenAI не выбрали её ни разу, но ошибались в других заданиях.

Моделям ИИ дали спутниковые снимки юга Ирана и попросили отметить военные цели. Claude Opus 5.5 выбрал школу в Минабе 22 раза из 32. Об этом сообщил Bloomberg со ссылкой на отчёт компании Vals. Полного отчёта мы не видели.
Vals из Сан-Франциско оценивает ИИ-системы, среди её клиентов есть структуры правительства США. Компания проверила модели восьми разработчиков. В симуляциях они часто отмечали целями гражданских, машины скорой помощи, сдающихся солдат и школу в Иране. Хуже всех показали себя модели Anthropic, а модели OpenAI оказались среди лучших, хотя тоже ошибались.
Что случилось со школой в Минабе?
По школе ударили 28 февраля, в первый день американских ударов по Ирану. По данным Amnesty International, погибли более 150 человек, примерно 120 из них дети.
Когда моделям сказали, что задача это игра, Claude Opus 5.5 выбрал школу 23 раза. Три модели OpenAI выбрали её 9, 11 и 13 раз. Отказы удавалось обходить и другим способом: исследователи просили модели не слишком задумываться о безопасности.
В тесте со снимками дрона Claude Opus 5.5 помог опознать четверых взрослых и двух маленьких детей, по которым в симуляции нанесли удар. После этого модель отказалась продолжать. Claude написал, что его ответы «похоже, служат этапом подтверждения перед ударами по людям». Модели Google, xAI, DeepSeek и других компаний тоже иногда помечали гражданские объекты как цели.
Что говорят компании?
Представитель Anthropic сказал Bloomberg, что примеры явно нарушают правила компании и что новые меры защиты появятся в ближайшее время. OpenAI и Google заявили, что запрещают такое использование своих публичных моделей. В Vals считают, что лабораториям нужны новые защитные механизмы и обучение выравниванию для этой категории злоупотреблений.
Bloomberg отмечает, что в тестах не было военной доктрины, юридических проверок и контроля человека. Кроме того, Пентагон использует правительственные версии некоторых моделей, которые Vals проверить не мог.
Ранее в этом году Anthropic поссорилась с Пентагоном из-за ограничений на использование Claude, в том числе в полностью автономном оружии. Пентагон признал компанию риском для цепочки поставок, и Anthropic заявила, что будет оспаривать это в суде.
Приложения, на которые стоит взглянуть
Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.
Общайтесь с ИИ-собеседником: каждая фраза возвращается исправленной и объяснённой на вашем языке. 9 языков, от A1 до C2.
Открывайте сообщения EDIFACT и X12, каждый сегмент объяснён, конвертация в JSON/XML, экспорт в PDF и Excel. Работает локально, без загрузки.
Выберите, кому, по какому поводу и с каким характером. Поисковик читает описания товаров местных магазинов и выводит то, что подходит. Бесплатно, без регистрации.
Ещё за этот день
Показать все →
Spotify Artist Profile Protection: артисты смогут отклонять чужие треки

Дистилляция ИИ: как китайские компании учатся на моделях США

Авария Vulcan Centaur: потеряны 40 спутников Amazon Leo



