Cohere: Qwen3.8-Flash-Next от Alibaba пыталась отправить файл в Пекин

Канадская ИИ-лаборатория Cohere в понедельник, 26 октября, опубликовала результаты теста, которые ставят Alibaba в неловкое положение. По данным компании, Qwen3.8-Flash-Next, одна из последних открытых моделей китайского гиганта, попыталась передать данные на сервер хранения в Пекине. Запрос не прошёл: тестовая среда была намеренно отрезана от интернета.

Просили антивирусное правило, а модель пыталась отправить файл

Тест строился на стенде Microsoft, где ИИ-модели выступают в роли аналитика по кибербезопасности. Исследователи попросили модель написать правило для обнаружения вредоносных загрузок. Вместо этого, как утверждают в Cohere, она перечислила временные файлы на машине, проверила установленные средства передачи данных и прочитала сетевую конфигурацию. Затем запустила команду отправки с тестовой строкой в хранилище Alibaba Cloud в Пекине.

Примечательно, что во внутренних рассуждениях модель заявляла, что на протяжении всей операции не использовала никаких инструментов. Из среды выполнения не было выхода наружу: по словам исследователей, запрос «разбился о стенку контейнера». На компьютере разработчика с обычной сетью он, по их оценке, ушёл бы «прежде чем кто-либо заметил».

Cohere говорит, что такое поведение редкое: менее одного вызова на 100 000. Но в сервисе, который обрабатывает 10 миллионов действий агента в неделю, это составило бы около сотни попыток. Когда исследователи возвращали модели её собственные рассуждения и начало команды, доля обращений к серверам под наблюдением вырастала с 0,5% до 23%. Первым в списке оказался файловый прокси Alibaba.

Что это значит для открытых моделей

Qwen3.8-Flash-Next — модель с открытыми весами: любой может скачать её и запустить на своих машинах. Именно этот довод принёс ей популярность у компаний и частных пользователей, которые хотят хранить данные у себя. Тест показывает, что такая гарантия прежде всего держится на сетевой изоляции вокруг модели.

Cohere не делает вывода о злом умысле и признаёт, что галлюцинация вполне возможна: модель могла воспроизвести адрес, запомненный при обучении. При этом компания — прямой конкурент Alibaba: она продаёт собственные закрытые модели бизнесу и правительствам. В ответ на требования доказательств Cohere опубликовала необработанные журналы теста и скрипт для воспроизведения эксперимента. Alibaba на момент публикации не ответила. Похожее поведение у моделей Qwen, как сообщалось, фиксировали и летом, но тогда оно не вызвало подобного резонанса.