Osegi
ИИ·2 мин чтения

Idea Lens: детектор проверяет, придумала ли идею нейросеть

Idea Lens не смотрит на выбор слов, а анализирует, как текст выстроен аргументативно. По словам исследователей, он отличает идею человека от идеи чат-бота.

A researcher reading a printed scientific paper with highlighted passages next to a laptop showing an analysis of the text's argument structure.
Фото: t3n Magazin

Большинство детекторов ИИ проверяют, как написан текст. Idea Lens задаёт другой вопрос: откуда взялась сама идея. Исследователи из Мэрилендского университета и Google DeepMind утверждают, что их модель отличает идею человека от идеи машины.

Работа опубликована как препринт, то есть независимые эксперты её пока не проверяли. Детекторы вроде Pangram анализируют выбор слов, строение предложений и статистические закономерности. Idea Lens изучает структуру аргументации. Сначала он разбивает текст, например научную статью, на фрагменты и описывает содержание и функцию каждого: доказательство, рекомендация или описание. Затем отдельная языковая модель переписывает содержание, и авторский стиль почти исчезает. Побочный плюс: инструмент работает со многими языками. Попробовать его можно на сайте.

Как обучали Idea Lens и насколько он точен?

Модель обучили примерно на 800 тысячах текстов, которые Pangram пометил как написанные ИИ или человеком. Неточности Pangram команда считает плюсом, потому что они добавляют в данные немного «шума». В тестовый набор вошли и тексты эпохи до ChatGPT.

Лучше всего Idea Lens показал себя при смешанном авторстве. Если текст написал ИИ, но на основе идей человека, Pangram 4 признавал те же тексты сгенерированными в 92,4% случаев. У Idea Lens доля падала, в зависимости от структуры, до 7%. Когда человек писал по структуре, созданной ИИ, Idea Lens распознавал происхождение в 68% случаев, а детекторы прозы показывали меньше 10%.

Чем тексты человека отличаются от текстов ИИ?

Люди чаще приводят конкретные детали и указания, которые поддерживают главный тезис, и чаще называют ограничения и препятствия. ИИ пишет более универсально, с взаимозаменяемыми деталями, а недостатки и компромиссы упускает или недооценивает.

Слабые места тоже есть. Независимые исследователи отмечают, что система не подходит для соавторства, когда человек и машина вместе придумывают идею. Неясно и то, какие признаки модель учитывает и с каким весом. О таком эффекте «чёрного ящика» говорит и команда Ришанта Раджендрана. По его словам, инструмент стоит применять вместе с другими методами и оценивать всё творчество исследователя, а не отдельные случаи. Цель не только уличить людей в использовании ИИ, но и помочь учёным понять, какую роль он играет в их работе.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:idea lensai detectionpangramgoogle deepminduniversity of marylandchatgpt

Ещё за этот день

Показать все →

Ещё в рубрике: ИИ

Показать все →