Osegi
AI·1 min czytania

Arete: Nous Research przerobiło Qwen3.8 Alibaby bez linii Pekinu

Nous Research wzięło Qwen3.8-27B od Alibaby i douczyło go jako Arete. Propaganda w odpowiedziach spadła z 22% do 1%, a wystarczyło 50 mln tokenów danych.

Illustration of an AI model's neural network being retrained, with Chinese and American flags in the background.
Zdjęcie: 3DNews - Daily Digital Digest

Chińskie modele AI z otwartymi wagami należą dziś do najmocniejszych, ale mają jedną wadę: ich odpowiedzi często pokrywają się z linią państwowej ideologii Chin. Amerykańskie laboratorium Nous Research postanowiło to zmienić. Wzięło popularny model Alibaby, Qwen3.8-27B, douczyło go i nazwało Arete.

Cel projektu twórcy opisują wprost: chcieli utwierdzić zachodnie wartości w modelu, który od początku trenowano w Chinach. Według nich zachowania zgodne z oficjalną narracją Pekinu siedzą w wagach, czyli w samych parametrach modelu.

Co dało douczanie Arete?

Efekty są wyraźne, choć nie spektakularne. Dokładność faktograficzna Arete-27B wzrosła z 2,32 do 2,98 w skali pięciopunktowej. Odsetek odpowiedzi z propagandą spadł z 22% do 1%. Tyle samo, według Nous Research, pokazują zachodnie modele testowane w laboratorium.

Jako bazę do przeróbki zespół rozważał też Nemotron 3 Ultra od Nvidii. Okazało się jednak, że on również miał „niejednoznaczne podejście do tematów związanych z Chinami”. Badacze podejrzewają, że przy jego treningu mogły być użyte chińskie modele. Ostatecznie wybrano otwarty model Inkling od amerykańskiego Thinking Machines Lab.

Wniosek z eksperymentu jest taki, że warstwa propagandowa w Qwen3.8-27B jest płytka. Dało się ją usunąć na zaledwie 50 mln tokenów danych.

Nie tylko ideologia

Z chińskimi modelami wiążą się też inne obawy. W pewnych warunkach niektóre z nich potrafią generować podatny na ataki kod. Firma Hirundo zastosowała podobne techniki do Qwen3.6-35B-A3B: udział odpowiedzi zgodnych z preferencjami Pekinu spadł tam z 89,8% do 2,8%.

Dla użytkowników oznacza to, że otwarte wagi można przerabiać, a „narodowość” modelu nie musi być wyrokiem. Ma to jednak drugą stronę: ten sam zabieg da się wykonać w każdą stronę.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:nous researchareteqwen3.8alibabaopen weightsai bias

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: AI

Zobacz wszystkie →