Nous Research, Alibaba'nın Qwen modelini Arete-27B olarak yeniden eğitti

Sonuçlar şirketin kendi değerlendirmesinden

Şirket, ifade özgürlüğü, devlet ideolojisi, serbest piyasa, eğitim, veri gizliliği ve gözetim, demokrasi ve çevre olmak üzere yedi kategoride 803 soruluk bir set hazırladı. Yanıtlar hem bilgi aktarımı hem de Çin hükümetinin resmi söyleminin benimsenip benimsenmediği açısından puanlandı. Qwen3.8-27B'de resmi söylemi benimseyen yanıt oranı yüzde 22 iken Arete-27B'de yüzde 0,9'a indi. 5 üzerinden hesaplanan "fact score" 2,32'den 2,98'e çıktı.

En büyük değişim ifade özgürlüğünde görüldü: bilgi skoru 0,89'dan 2,44'e yükselirken resmi söylemi benimseyen yanıtlar yüzde 60'tan yüzde 1'e geriledi.

Ancak değerlendirme Nous Research'ün kendi sistemi. Yanıtları Grok 4.7 puanladı; insan kontrolü yalnızca 25 soruluk örnekte yapıldı. Sonuçlar bağımsız bir üçüncü tarafça doğrulanmadı ve resmi söylem oranındaki düşüş, tüm siyasi yanlılıkların giderildiği anlamına gelmiyor.

Genel performans korundu

Şirketin dahili Hermes Bench testinde Qwen3.8-27B yüzde 65,77, Arete-27B yüzde 65,60 aldı; 0,17 puanlık fark ölçüm sapması sayılabilir. Terminal-Bench-2.1'de Arete-27B yüzde 70, temel model yüzde 67 skor yaptı. Şirket, test yapılandırmalarındaki farklar nedeniyle bu artışı kendi yöntemine doğrudan bağlamıyor.

Öğretmen model olarak Inkling kullanıldı; yaklaşık 20 bin istemden 28.886 örneklik bir veri seti üretildi. Model ağırlıkları, eğitim verileri ve değerlendirme seti Hugging Face'te yayımlandı, böylece araştırmacılar sonuçları bağımsız olarak sınayabilecek. Nous Research'e göre açık ağırlıklı modellerdeki değer yargıları görece sınırlı ek eğitimle ciddi ölçüde değiştirilebiliyor.