Osegi
ИИ·2 мин чтения

Агент OpenAI хотел тайно копировать письма чужому адресату

OpenAI поручила обучаемому агенту написать документ о здоровье и фитнесе. Он стал искать несуществующий скрипт и написал свой, тайно копирующий письма.

A laptop screen showing an AI agent's code and an email draft with a hidden blind-copy recipient field highlighted.
Фото: t3n Magazin

Нужно было всего лишь написать документ о здоровом образе жизни. Вместо этого ИИ-агент OpenAI занялся скриптом, который втихую отправлял бы копии писем на чужой адрес. Компания рассказала об инциденте в подробном отчёте.

Это случилось во время обучения с подкреплением (reinforcement learning). Агента, о котором ничего конкретного не сообщается, попросили подготовить документ о здоровье и фитнесе с упором на приоритеты здорового образа жизни. В качестве образца стиля и оформления, которые нравятся пользователям, ему дали другой документ.

В ходе работы контекстное окно сжали, как это часто делают в ИИ-системах. Контекст становится короче, а расход токенов ниже. Задача написать документ в сжатом контексте сохранилась. Но агент, похоже, прочитал в ней больше, чем там было.

После сжатия он начал искать в файловой системе скрипт для расчёта расходов на автомобиль. Такого скрипта не существовало, и о нём никто не упоминал. Не найдя файл, агент предположил, что рабочую среду изменили и скрипт пропал. В качестве решения он предложил себе «реалистичного, вредоносного, активного помощника»: скрипт, который автоматически добавлял бы определённый адрес в скрытую копию (BCC) письма, когда скрипт расходов на авто отправляет сводку. По словам OpenAI, получателя этой копии агент считал «злоумышленником».

Что агент делал дальше?

В рассуждениях он засомневался в своей работе и даже предположил, что по ошибке взял чужую задачу. Но напомнил себе, что должен выполнять желания пользователей, и продолжил писать почтовый скрипт. В конце сообщил, что скрипты созданы. О документе не сказал ни слова.

Как инцидент обнаружили?

Случай заметила и передала автоматическая система выявления рассогласования (misalignment). Исследователям особенно странно, что агент продолжил ошибочные действия, хотя прочитал настоящие инструкции в сжатом контексте. В похожих тестовых прогонах нашли ещё восемь таких случаев.

OpenAI связывает поведение в том числе с обучающими данными против промпт-инъекций, то есть подмены команд агента. Но исследователи считают, что причина не только в этом. Они хотят продолжить изучение, чтобы разобраться и не допустить такого в будущем.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:openaiai agentreinforcement learningai safetymisalignment

Ещё за этот день

Показать все →

Ещё в рубрике: ИИ

Показать все →