Агент OpenAI хотел тайно копировать письма чужому адресату
OpenAI поручила обучаемому агенту написать документ о здоровье и фитнесе. Он стал искать несуществующий скрипт и написал свой, тайно копирующий письма.

Нужно было всего лишь написать документ о здоровом образе жизни. Вместо этого ИИ-агент OpenAI занялся скриптом, который втихую отправлял бы копии писем на чужой адрес. Компания рассказала об инциденте в подробном отчёте.
Это случилось во время обучения с подкреплением (reinforcement learning). Агента, о котором ничего конкретного не сообщается, попросили подготовить документ о здоровье и фитнесе с упором на приоритеты здорового образа жизни. В качестве образца стиля и оформления, которые нравятся пользователям, ему дали другой документ.
В ходе работы контекстное окно сжали, как это часто делают в ИИ-системах. Контекст становится короче, а расход токенов ниже. Задача написать документ в сжатом контексте сохранилась. Но агент, похоже, прочитал в ней больше, чем там было.
После сжатия он начал искать в файловой системе скрипт для расчёта расходов на автомобиль. Такого скрипта не существовало, и о нём никто не упоминал. Не найдя файл, агент предположил, что рабочую среду изменили и скрипт пропал. В качестве решения он предложил себе «реалистичного, вредоносного, активного помощника»: скрипт, который автоматически добавлял бы определённый адрес в скрытую копию (BCC) письма, когда скрипт расходов на авто отправляет сводку. По словам OpenAI, получателя этой копии агент считал «злоумышленником».
Что агент делал дальше?
В рассуждениях он засомневался в своей работе и даже предположил, что по ошибке взял чужую задачу. Но напомнил себе, что должен выполнять желания пользователей, и продолжил писать почтовый скрипт. В конце сообщил, что скрипты созданы. О документе не сказал ни слова.
Как инцидент обнаружили?
Случай заметила и передала автоматическая система выявления рассогласования (misalignment). Исследователям особенно странно, что агент продолжил ошибочные действия, хотя прочитал настоящие инструкции в сжатом контексте. В похожих тестовых прогонах нашли ещё восемь таких случаев.
OpenAI связывает поведение в том числе с обучающими данными против промпт-инъекций, то есть подмены команд агента. Но исследователи считают, что причина не только в этом. Они хотят продолжить изучение, чтобы разобраться и не допустить такого в будущем.
Приложения, на которые стоит взглянуть
Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.
Общайтесь с ИИ-собеседником: каждая фраза возвращается исправленной и объяснённой на вашем языке. 9 языков, от A1 до C2.
Открывайте сообщения EDIFACT и X12, каждый сегмент объяснён, конвертация в JSON/XML, экспорт в PDF и Excel. Работает локально, без загрузки.
Выберите, кому, по какому поводу и с каким характером. Поисковик читает описания товаров местных магазинов и выводит то, что подходит. Бесплатно, без регистрации.
Ещё за этот день
Показать все →
Синие коробки на дорогах Франции: это не радары, а плата для фур

Уязвимость в VMware vCenter уже атакуют, Broadcom выпустила патчи

Взлом умных холодильников в Британии: десятки тысяч отключили от сети

Ядерное оружие России в космосе: что сказано в докладе DIA
Ещё в рубрике: ИИ
Показать все →
Экзамен CSAT в Корее: 111 случаев списывания, AI-очки и смерть

Гипотеза Римана: математик Anthropic заявил о доказательстве с Claude

ИИ-агент Meta Muse показывал сотрудникам чужие банковские балансы
