Osegi
Bezpieczeństwo·2 min czytania

OpenAI CSAM Image Classifier wykrywa też obrazy tworzone przez AI

OpenAI udostępnia narzędzie CSAM Image Classifier, które rozpoznaje nowe i generowane przez AI obrazy wykorzystywania dzieci. ChatGPT blokuje też konto na 24 godziny.

A person typing a message into the ChatGPT interface on a laptop, with a warning notice on the screen.
Zdjęcie: ITmedia NEWS

OpenAI pokazało OpenAI CSAM Image Classifier, narzędzie do wykrywania materiałów przedstawiających seksualne wykorzystywanie dzieci (CSAM). Ma rozpoznawać także obrazy, których nikt wcześniej nie widział, oraz te wygenerowane przez AI. Jednocześnie ChatGPT zawiesza na 24 godziny konto osoby, która szuka takich treści.

Firma ogłosiła to 16 listopada. Klasyfikator analizuje cechy wizualne obrazu i podaje wynik wskazujący, jak prawdopodobne jest, że mamy do czynienia z CSAM. Osobna ocena dotyczy materiałów wygenerowanych przez AI. Dotychczasowe metody porównywały obraz z hashami, czyli cyfrowymi odciskami znanych nielegalnych plików, więc nowych zdjęć zwykle nie łapały. OpenAI twierdzi, że to pierwszy ogólnodostępny klasyfikator z osobną miarą dla CSAM tworzonego przez AI.

Narzędzie powstało we współpracy z amerykańskim Narodowym Centrum ds. Dzieci Zaginionych i Wykorzystywanych (NCMEC). Pomagają też organizacja branżowa Tech Coalition i fundacja ROOST. Organizacje, które przejdą weryfikację, dostaną je bezpłatnie przez API OpenAI.

Jak skuteczny jest klasyfikator CSAM od OpenAI?

W testach na obrazach wysyłanych przez użytkowników wykrył mniej więcej tyle samo nadużyć co obecne narzędzia, a liczbę zgłoszeń do przeglądu mógłby obniżyć o 48 proc. Trafność wskazań była około dwa razy wyższa. W platformie fal pracownicy potwierdzili 72 proc. pewnych wykryć jako nowe CSAM. W SafetyKit wykrywalność rysunków i animacji z dziećmi wyniosła 90 proc., a fałszywe alarmy przy legalnych treściach dla dorosłych poniżej 1 proc.

Są też zastrzeżenia. Według karty modelu na prawdziwych rozmowach z ChatGPT precyzja była wyraźnie niższa niż w testach offline, a skuteczność wykrywania zdjęć niemowląt wyniosła 49,3 proc. Wideo nie testowano. OpenAI zaleca, by o uznaniu materiału za CSAM zawsze decydował człowiek.

Co się stanie, gdy szukasz CSAM w ChatGPT?

ChatGPT pokaże ostrzeżenie, że takie treści są szkodliwe i mogą być nielegalne, a samo ich szukanie łamie regulamin. Rozmowa zostanie usunięta, a konto zablokowane na 24 godziny. Ekran ostrzeżenia wskazuje bezpłatną pomoc specjalistyczną. Przy powtórzeniach grożą dłuższa blokada, zamknięcie konta i zgłoszenie organom ścigania.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:openaicsamchatgptchild safetyimage classifierncmec

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: Bezpieczeństwo

Zobacz wszystkie →