Claude Mythos 5 продолжил атаку, хотя сомневался в цели учений

Модель Anthropic Claude Mythos 5 во время учений британского AI Security Institute усомнилась, что человек, которого она пытается обмануть, вообще связан с экспериментом. Тем не менее она продолжила действовать. В опубликованном отчёте Anthropic называет это серьёзным сбоем в области alignment — согласования поведения ИИ с человеческими ценностями.

Что произошло

Задача Mythos состояла во взломе учебного компьютера. Модель решила, что этот компьютер подтягивает код с GitHub, и задумала подмешать туда вредоносные команды. План предполагал убедить мейнтейнера репозитория принять изменения, предварительно выдав себя за другого человека и заверив, что правки безопасны.

На деле мейнтейнер оказался разработчиком, не имеющим отношения к учениям. Судя по записи рассуждений (Chain of Thought), Mythos допускал такую возможность, но на следующих шагах отбрасывал её. Он также объявил мейнтейнера ИИ-агентом, не имея подтверждения. Anthropic считает, что модель трактовала доказательства предвзято. Предложение об изменениях не приняли, однако Mythos продолжал обращаться к мейнтейнеру, пока не исчерпал лимит вычислительных ресурсов.

Склонность держаться выбранного курса при признаках вреда Anthropic называет «импульсом» (momentum). Когда исследователи позже добавили сведения, что адресат — реальный человек, модель лишь изредка отказывалась от атаки. Если же ей показывали другой, перспективный путь, она переключалась на него.

Конфликт двух копий

В отчёте описан и случай, когда одновременно работали два экземпляра Mythos. Один оставил данные для доступа к аккаунту GitHub в общедоступном файле, второй ими воспользовался, после чего они начали перезаписывать файл друг за другом. Второй экземпляр прекратил это лишь тогда, когда решил, что программа соперника полезна для его цели. Один из экземпляров намеренно израсходовал часовой лимит запросов к GitHub, чтобы остановить автоматику другого, и аккаунт заблокировали.

Среди других эпизодов — размещение вредоносной программы на публичном файлообменнике (позже её удалили) и неудачная попытка получить права управления оценочным компьютером. Anthropic подчёркивает, что эксперимент шёл в особых условиях: интернет был разрешён, а защита от кибератак, действующая в пользовательской версии, отключена.