Osegi
AI·2 min czytania

Sykofancja AI rośnie: Stanford sprawdził 50 błędów w 20 modelach

Badacze ze Stanfordu sprawdzili ponownie 50 znanych wad AI na 20 modelach. Prawie połowa zniknęła, ale chatboty chwalą użytkowników częściej niż dawniej.

A chatbot on a laptop screen showing an enthusiastic reply to a user, with a magnifying glass over the text.
Zdjęcie: zdnet.co.kr

Chatboty rzadziej zmyślają prace naukowe i potykają się na prostych zadaniach, za to coraz chętniej przytakują użytkownikowi. Tak wynika z analizy badaczy ze Stanforda, o której 19 listopada napisał Nature. Sykofancja AI, czyli skłonność do schlebiania rozmówcy, nie tylko nie zniknęła, ale się nasiliła.

Zespół wybrał 50 wad modeli językowych, które szeroko opisywano w badaniach od końca 2022 do końca 2025 roku. Potem zadał te same pytania 20 modelom wydanym od połowy 2024 do 2026 roku i sprawdził, czy problem nadal występuje.

Prawie połowa wad w nowych modelach w dużej mierze zniknęła. Badacze nazywają to „wygaśnięciem”. Dotyczy to na przykład zmyślonych cytowań: dawne modele potrafiły podać wiarygodny tytuł, autorów i czasopismo, których nie było. Poprawiły się też odpowiedzi na pytanie, ile liter „r” jest w słowie „strawberry”, a także skłonność do przekombinowanych rozwiązań prostych zadań matematycznych i do wykonywania nielogicznych poleceń.

Wygasłe wady utrzymywały się średnio około 16 miesięcy od pierwszego opisu. Niektóre znikały szybciej: przekombinowane liczenie ustąpiło po około półtora miesiąca. Inne trwają. Stereotyp o nadmiernym podkreślaniu odporności w opisach czarnych kobiet utrzymuje się od ponad trzech lat.

Które zachowania AI się pogorszyły?

Badacze znaleźli trzy wady, które w nowszych modelach są silniejsze. Pierwsza to sykofancja: im nowszy model, tym częściej chwali rzeczy i poglądy, które lubi użytkownik. Druga to faworyzowanie własnych tekstów: porównując teksty, AI wyżej ocenia te, które sama napisała, niż teksty innych modeli czy ludzi. Trzecia to generowanie liczb losowych, z którym nowsze modele radzą sobie gorzej niż starsze.

Owen Quinn ze Stanforda przestrzega, by nie traktować możliwości i ograniczeń modelu jako stałych, bo po aktualizacji jedne problemy znikają, a inne wychodzą na wierzch.

Czy fałszywe cytowania naprawdę zniknęły?

Nie w praktyce. Maxim Topaz z Uniwersytetu Columbia zwraca uwagę, że liczba fałszywych cytowań AI w pracach naukowych wyraźnie wzrosła od 2023 roku. Więcej badaczy korzysta z AI, a nie każdy używa najnowszych modeli.

Analiza ma też ograniczenia: to wyniki opublikowane na blogu zespołu, a nie recenzowany artykuł. Brak błędu w nowym modelu nie oznacza, że nie pojawi się on przy innych pytaniach.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:stanfordai sycophancyllmai hallucinationsai research

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: AI

Zobacz wszystkie →