Osegi
Безопасность·2 мин чтения

OpenAI CSAM Image Classifier находит и сгенерированные ИИ снимки

Новый OpenAI CSAM Image Classifier распознаёт ранее неизвестные и созданные ИИ изображения насилия над детьми. В ChatGPT за поиск таких материалов блокируют аккаунт на 24 часа.

A person typing a message into the ChatGPT interface on a laptop, with a warning notice on the screen.
Фото: ITmedia NEWS

OpenAI представила OpenAI CSAM Image Classifier, инструмент для поиска материалов сексуального насилия над детьми (CSAM). Он должен находить и снимки, которых раньше никто не видел, и изображения, созданные нейросетями. Заодно ChatGPT теперь блокирует на 24 часа аккаунт пользователя, который ищет такой контент.

О новинке компания сообщила 16 ноября. Классификатор анализирует визуальные признаки насилия на картинке и выдаёт оценку вероятности того, что это CSAM. Для материалов, созданных ИИ, есть отдельная оценка. Прежние методы сверяли файл с хешами, то есть цифровыми отпечатками уже известных незаконных изображений, поэтому новые снимки обычно пропускали. По словам OpenAI, это первый широкодоступный классификатор с отдельной метрикой для сгенерированного ИИ CSAM.

Инструмент разработан при участии американского Национального центра по делам пропавших и эксплуатируемых детей (NCMEC). Помогают также отраслевое объединение Tech Coalition и некоммерческая организация ROOST. Организации, прошедшие проверку, получат доступ бесплатно через API OpenAI.

Насколько точен классификатор CSAM?

В оценке на загруженных пользователями изображениях инструмент нашёл примерно столько же случаев, сколько существующие решения, но, по оценке OpenAI, сокращает число изображений, отправляемых на проверку, на 48%. Доля реальных нарушений среди помеченных картинок примерно вдвое выше. На платформе fal сотрудники подтвердили как новый CSAM 72% уверенных срабатываний. В SafetyKit на рисунках и анимации с сексуальным изображением детей доля обнаружений составила 90%, ложные срабатывания на законном контенте для взрослых оказались ниже 1%.

Есть и оговорки. Согласно карте модели, на реальной переписке в ChatGPT точность заметно ниже, чем в офлайн-тестах. Доля найденных снимков младенцев составила лишь 49,3%. Кадры видео не проверяли. OpenAI советует не считать оценку самостоятельным доказательством: окончательное решение должен принимать человек.

Что будет, если искать CSAM в ChatGPT?

Пользователь увидит предупреждение: такой контент вреден и может быть незаконным, а сам поиск нарушает правила сервиса. Диалог удаляется, аккаунт блокируется на 24 часа. На экране предупреждения указана бесплатная профессиональная помощь. При повторных нарушениях возможны более долгая блокировка, закрытие аккаунта и сообщение властям.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:openaicsamchatgptchild safetyimage classifierncmec

Ещё за этот день

Показать все →

Ещё в рубрике: Безопасность

Показать все →