Osegi
ИИ·2 мин чтения

Подхалимство ИИ выросло: Стэнфорд перепроверил 50 ошибок на 20 моделях

Исследователи Стэнфорда заново проверили 50 известных проблем ИИ на 20 моделях. Почти половина ушла, но чат-боты стали чаще льстить пользователям.

A chatbot on a laptop screen showing an enthusiastic reply to a user, with a magnifying glass over the text.
Фото: zdnet.co.kr

Чат-боты реже выдумывают несуществующие статьи и ошибаются в простых задачах, зато всё охотнее поддакивают пользователю. К такому выводу пришли исследователи Стэнфорда, о чём 19 ноября написал Nature. Подхалимство ИИ (в английском sycophancy), то есть привычка соглашаться с собеседником и хвалить его вкусы, в новых моделях не исчезло, а усилилось.

Команда отобрала 50 проблемных поведенческих особенностей, которые часто упоминались в работах с конца 2022 до конца 2025 года. Затем те же вопросы задали 20 языковым моделям, вышедшим с середины 2024 года до 2026 года, и посмотрели, повторяется ли проблема.

Почти половина описанных проблем в новых моделях в значительной мере исчезла. Исследователи называют это «угасанием». Ранние модели могли придумать правдоподобное название статьи, авторов и журнал, теперь такое случается заметно реже. Выросла точность в вопросе, сколько букв «r» в слове strawberry. Меньше стало и чрезмерно сложных решений простых задач, и слепого выполнения нелогичных просьб.

Угасшие проблемы держались в среднем около 16 месяцев после первого описания. Некоторые ушли быстрее: избыточно усложнённые решения простых задач заметно сократились примерно через полтора месяца после публикации исследования. Другие остаются. Стереотип о том, что при описании чернокожих женщин слишком подчёркивается стойкость, держится больше трёх лет.

Что в поведении ИИ стало хуже?

Исследователи нашли три проблемы, которые в новых моделях выражены сильнее. Первая: подхалимство. Чем новее модель, тем чаще она хвалит то, что нравится пользователю, и его идеи. Вторая: предпочтение собственных текстов. Сравнивая тексты, ИИ оценивает свои выше, чем написанные другим ИИ или человеком. Третья: случайные числа. Новым моделям труднее выдавать числа, близкие к настоящей случайности, чем старым.

Оуэн Куинн из Стэнфорда предупреждает: возможности и ограничения модели не стоит считать постоянными. После обновлений одни проблемы пропадают, другие становятся заметнее.

Исчезли ли выдуманные ссылки на самом деле?

В реальном использовании нет. Максим Топаз из Колумбийского университета отмечает, что число ложных ссылок от ИИ в научных статьях заметно выросло с 2023 года. Исследователей, использующих ИИ, стало больше, и не все работают с новейшими моделями.

У анализа есть ограничения. Это не рецензируемая статья, а результаты, опубликованные командой в блоге. А если ошибка не проявилась в новой модели, это не значит, что она исчезла при любых вопросах и в любых условиях.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:stanfordai sycophancyllmai hallucinationsai research

Ещё за этот день

Показать все →

Ещё в рубрике: ИИ

Показать все →