Arete: Nous Research переучила Qwen3.8 от Alibaba без линии Пекина

Что изменилось в Arete?

Результат заметный, но не феноменальный. Фактическая точность Arete-27B выросла с 2,32 до 2,98 по пятибалльной шкале. Доля ответов с пропагандой снизилась с 22% до 1%. Как утверждает Nous Research, такие показатели у западных моделей, протестированных в лаборатории.

В качестве основы для переобучения рассматривали и Nvidia Nemotron 3 Ultra, но у неё тоже обнаружился «неоднозначный подход к связанным с Китаем темам». Исследователи считают, что при обучении самой Nemotron могли использоваться китайские модели. В итоге выбрали открытую модель Inkling американской Thinking Machines Lab.

Вывод эксперимента: пропагандистский пласт в Qwen3.8-27B поверхностный. Его относительно легко убрать на 50 млн токенов обучающих данных.

Не только идеология

Угрозы от китайских моделей не сводятся к продвижению взглядов Пекина: при определённых условиях некоторые из них могут генерировать уязвимый код. Компания Hirundo применила методы переобучения к Qwen3.6-35B-A3B, и доля ответов, соответствующих предпочтениям Пекина, упала с 89,8% до 2,8%.

Для пользователей это значит, что происхождение открытой модели не приговор: её можно переучить. Правда, тем же способом можно навязать и любые другие установки.