OpenAI CSAM Image Classifier находит и сгенерированные ИИ снимки
Новый OpenAI CSAM Image Classifier распознаёт ранее неизвестные и созданные ИИ изображения насилия над детьми. В ChatGPT за поиск таких материалов блокируют аккаунт на 24 часа.

OpenAI представила OpenAI CSAM Image Classifier, инструмент для поиска материалов сексуального насилия над детьми (CSAM). Он должен находить и снимки, которых раньше никто не видел, и изображения, созданные нейросетями. Заодно ChatGPT теперь блокирует на 24 часа аккаунт пользователя, который ищет такой контент.
О новинке компания сообщила 16 ноября. Классификатор анализирует визуальные признаки насилия на картинке и выдаёт оценку вероятности того, что это CSAM. Для материалов, созданных ИИ, есть отдельная оценка. Прежние методы сверяли файл с хешами, то есть цифровыми отпечатками уже известных незаконных изображений, поэтому новые снимки обычно пропускали. По словам OpenAI, это первый широкодоступный классификатор с отдельной метрикой для сгенерированного ИИ CSAM.
Инструмент разработан при участии американского Национального центра по делам пропавших и эксплуатируемых детей (NCMEC). Помогают также отраслевое объединение Tech Coalition и некоммерческая организация ROOST. Организации, прошедшие проверку, получат доступ бесплатно через API OpenAI.
Насколько точен классификатор CSAM?
В оценке на загруженных пользователями изображениях инструмент нашёл примерно столько же случаев, сколько существующие решения, но, по оценке OpenAI, сокращает число изображений, отправляемых на проверку, на 48%. Доля реальных нарушений среди помеченных картинок примерно вдвое выше. На платформе fal сотрудники подтвердили как новый CSAM 72% уверенных срабатываний. В SafetyKit на рисунках и анимации с сексуальным изображением детей доля обнаружений составила 90%, ложные срабатывания на законном контенте для взрослых оказались ниже 1%.
Есть и оговорки. Согласно карте модели, на реальной переписке в ChatGPT точность заметно ниже, чем в офлайн-тестах. Доля найденных снимков младенцев составила лишь 49,3%. Кадры видео не проверяли. OpenAI советует не считать оценку самостоятельным доказательством: окончательное решение должен принимать человек.
Что будет, если искать CSAM в ChatGPT?
Пользователь увидит предупреждение: такой контент вреден и может быть незаконным, а сам поиск нарушает правила сервиса. Диалог удаляется, аккаунт блокируется на 24 часа. На экране предупреждения указана бесплатная профессиональная помощь. При повторных нарушениях возможны более долгая блокировка, закрытие аккаунта и сообщение властям.
Приложения, на которые стоит взглянуть
Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.
Общайтесь с ИИ-собеседником: каждая фраза возвращается исправленной и объяснённой на вашем языке. 9 языков, от A1 до C2.
Открывайте сообщения EDIFACT и X12, каждый сегмент объяснён, конвертация в JSON/XML, экспорт в PDF и Excel. Работает локально, без загрузки.
Выберите, кому, по какому поводу и с каким характером. Поисковик читает описания товаров местных магазинов и выводит то, что подходит. Бесплатно, без регистрации.
Ещё за этот день
Показать все →
BOOX Palma 3: Android-устройство с экраном E Ink за 54 800 иен

Endurance Energy испытала геотермальную станцию на дне океана

Лимит 20 банковских карт: как заработает реестр ЕСУПК с 2027 года

2ГИС «Неоновый город»: карта в стиле GTA 6 с пальмами и байкером
Ещё в рубрике: Безопасность
Показать все →
Атака на Optimizely: вредоносный код на сайтах IKEA, Zoom и HSBC

Атака на цепочку поставок Optimizely: вредоносный скрипт на сайтах брендов

Сбой NSA Net: засекреченная внутренняя сеть АНБ не работает
