Nous Research переобучила китайскую модель Qwen: вышла Arete-27B

Результаты по собственной методике

Для оценки компания подготовила 803 вопроса в семи категориях: свобода слова, государственная идеология, свободный рынок, образование, конфиденциальность данных и слежка, демократия, экология. Ответы оценивали по полноте информации и по тому, принимает ли модель официальную риторику властей Китая. У Qwen3.8-27B доля таких ответов составляла 22%, у Arete-27B — 0,9%. Показатель «fact score» по пятибалльной шкале вырос с 2,32 до 2,98.

Сильнее всего изменилась категория свободы слова: информационный балл вырос с 0,89 до 2,44, а доля ответов с официальной риторикой снизилась с 60% до 1%.

Однако методику создала сама Nous Research. Ответы оценивал Grok 4.7, а люди проверили лишь выборку из 25 вопросов. Независимо результаты не подтверждены, а снижение доли официальной риторики не означает устранения всех политических перекосов.

Общие способности почти не пострадали

В собственном тесте Hermes Bench Qwen3.8-27B набрала 65,77%, Arete-27B — 65,60%; разницу в 0,17 пункта компания считает погрешностью измерения. В Terminal-Bench-2.1, оценивающем выполнение задач ИИ-агентами, Arete-27B получила 70% против 67% у базовой модели, но из-за различий в конфигурации тестов компания не связывает рост напрямую со своим методом.

В роли модели-учителя выступила Inkling: на основе около 20 тыс. промптов собрали датасет из 28 886 примеров. Веса модели, обучающие данные и набор для оценки опубликованы на Hugging Face, так что исследователи смогут проверить результаты самостоятельно. По мнению Nous Research, ценностные установки открытых моделей можно заметно изменить сравнительно небольшим дообучением.