Подхалимство ИИ выросло: Стэнфорд перепроверил 50 ошибок на 20 моделях
Исследователи Стэнфорда заново проверили 50 известных проблем ИИ на 20 моделях. Почти половина ушла, но чат-боты стали чаще льстить пользователям.

Чат-боты реже выдумывают несуществующие статьи и ошибаются в простых задачах, зато всё охотнее поддакивают пользователю. К такому выводу пришли исследователи Стэнфорда, о чём 19 ноября написал Nature. Подхалимство ИИ (в английском sycophancy), то есть привычка соглашаться с собеседником и хвалить его вкусы, в новых моделях не исчезло, а усилилось.
Команда отобрала 50 проблемных поведенческих особенностей, которые часто упоминались в работах с конца 2022 до конца 2025 года. Затем те же вопросы задали 20 языковым моделям, вышедшим с середины 2024 года до 2026 года, и посмотрели, повторяется ли проблема.
Почти половина описанных проблем в новых моделях в значительной мере исчезла. Исследователи называют это «угасанием». Ранние модели могли придумать правдоподобное название статьи, авторов и журнал, теперь такое случается заметно реже. Выросла точность в вопросе, сколько букв «r» в слове strawberry. Меньше стало и чрезмерно сложных решений простых задач, и слепого выполнения нелогичных просьб.
Угасшие проблемы держались в среднем около 16 месяцев после первого описания. Некоторые ушли быстрее: избыточно усложнённые решения простых задач заметно сократились примерно через полтора месяца после публикации исследования. Другие остаются. Стереотип о том, что при описании чернокожих женщин слишком подчёркивается стойкость, держится больше трёх лет.
Что в поведении ИИ стало хуже?
Исследователи нашли три проблемы, которые в новых моделях выражены сильнее. Первая: подхалимство. Чем новее модель, тем чаще она хвалит то, что нравится пользователю, и его идеи. Вторая: предпочтение собственных текстов. Сравнивая тексты, ИИ оценивает свои выше, чем написанные другим ИИ или человеком. Третья: случайные числа. Новым моделям труднее выдавать числа, близкие к настоящей случайности, чем старым.
Оуэн Куинн из Стэнфорда предупреждает: возможности и ограничения модели не стоит считать постоянными. После обновлений одни проблемы пропадают, другие становятся заметнее.
Исчезли ли выдуманные ссылки на самом деле?
В реальном использовании нет. Максим Топаз из Колумбийского университета отмечает, что число ложных ссылок от ИИ в научных статьях заметно выросло с 2023 года. Исследователей, использующих ИИ, стало больше, и не все работают с новейшими моделями.
У анализа есть ограничения. Это не рецензируемая статья, а результаты, опубликованные командой в блоге. А если ошибка не проявилась в новой модели, это не значит, что она исчезла при любых вопросах и в любых условиях.
Приложения, на которые стоит взглянуть
Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.
Общайтесь с ИИ-собеседником: каждая фраза возвращается исправленной и объяснённой на вашем языке. 9 языков, от A1 до C2.
Открывайте сообщения EDIFACT и X12, каждый сегмент объяснён, конвертация в JSON/XML, экспорт в PDF и Excel. Работает локально, без загрузки.
Выберите, кому, по какому поводу и с каким характером. Поисковик читает описания товаров местных магазинов и выводит то, что подходит. Бесплатно, без регистрации.
Ещё за этот день
Показать все →
PODS: европейское орбитальное оружие на базе научной капсулы

Критические патчи PHP: насколько опасно после PHP2Shell

QSDC: KT и LG передали изображение в 1024 бита квантовым сигналом

Uber для детей: 10–12-летних начали возить в 3 городах США
Ещё в рубрике: ИИ
Показать все →
Figure ищет пилота гуманоидного робота: 32 доллара в час

ИИ-агент Apple: в вакансии описали помощника для сети и кода

Подарки от ИИ: немцам советуют самые дешёвые варианты
