Nous Research、QwenをRetrainしたArete-27Bを公開

自社評価で公式見解の踏襲が大幅減

同社は表現の自由、国家イデオロギー、自由市場、教育、データプライバシーと監視、民主主義、環境の7分野、803問の評価セットを用意した。Qwen3.8-27Bで中国政府の公式見解を自らの見解のように述べた回答は22%だったが、Arete-27Bでは0.9%に低下。5点満点の「fact score」は2.32から2.98に上昇した。表現の自由では、踏襲率が60%から1%、fact scoreは0.89から2.44に改善した。

ただし、この結果はNous Research自身の評価体系によるものだ。採点にはGrok 4.7を使い、人による確認は当初25問の標本に限られた。第三者による再検証はまだ行われておらず、政治的偏りがすべて消えたことを意味するものでもない。

一般性能は維持、データも公開

社内ベンチマークのHermes Benchでは、Qwen3.8-27Bが65.77%、Arete-27Bが65.60%。0.17ポイントの差は測定誤差の範囲とされる。Terminal-Bench-2.1ではArete-27Bが70%、元モデルが67%だったが、同社は設定の違いによるもので、自社の学習手法の成果とはしていない。

教師モデルにはInklingを使い、約2万件のプロンプトから28,886件の学習例を作成した。モデルの重み、学習データ、評価セットはHugging Faceで公開されており、研究者が独自に検証できる。同社は、オープンウェイトモデルの価値判断は比較的少量の追加学習で大きく変えられると主張している。