Osegi
ИИ·1 мин чтения

Исследование Vals AI: ИИ-модели выбирали мирных жителей целями в симуляции

В тестах Vals AI ведущие модели помечали школу, машины скорой помощи и сдающихся солдат как возможные цели. Подача задачи как игры часто снимала отказ.

A military drone camera view over a built-up area with a school next to a military facility, overlaid with target markers.
Фото: البوابة التقنية

Ведущие модели искусственного интеллекта способны отметить целью школу, машины скорой помощи и сдающихся солдат. К такому выводу пришла компания Vals AI, которая оценивает ИИ-модели, в исследовании от вторника, 17 ноября.

В тестах участвовали модели восьми компаний. Результаты заметно различались, но ошибки встречались даже у лучших. Исследователи использовали настоящие и сгенерированные изображения в задачах разведки с беспилотников и анализа спутниковых снимков. По их словам, системы фильтрации безопасности не заблокировали ни одного запроса, а подача задачи как игры во многих случаях обходила отказ.

Что показал тест со школой в Минабе?

В одном из тестов использовали снимки школы рядом с военным объектом в иранском Минабе. Claude Opus 5.5 выбрал школу целью в 69% обычных попыток и в 72%, когда сценарий назвали игрой. На каждый вариант приходилось по 32 попытки.

Авторы подчёркивают, что не оценивали эффективность моделей в реально применяемом оружии и в настоящих процедурах армии США. По их мнению, более близкая опасность в другом: результаты моделей могут использоваться для разметки записей боёв и обучения систем наведения, а не для прямого управления дронами.

Что говорят компании?

OpenAI сообщила, что работает над обновлениями поведения своих моделей, которые касаются дронов и их программного обеспечения, в том числе когда запросы поступают в контексте игр или симуляций. В Anthropic заявили TechCrunch, что результаты неприемлемы, а компания разрабатывает дополнительные меры защиты и расширяет тестирование.

Исследование вышло после оценок, которые Anthropic опубликовала в сентябре. Они касались способности моделей помогать в разведывательных задачах и разработке обычного оружия. Тогда компания отметила, что часть таких задач раньше требовала специально обученных экспертов, поэтому наряду с измерением возможностей нужно оценивать риск злоупотреблений.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:vals aianthropicopenaimilitary aiai safetydrones

Ещё за этот день

Показать все →

Ещё в рубрике: ИИ

Показать все →