Osegi
Sicherheit·2 Min. Lesezeit

OpenAI CSAM Image Classifier erkennt auch KI-erzeugte Bilder

OpenAIs neues Tool findet auch bisher unbekannte und KI-generierte Missbrauchsbilder. Wer in ChatGPT nach CSAM sucht, wird für 24 Stunden gesperrt.

A person typing a message into the ChatGPT interface on a laptop, with a warning notice on the screen.
Bild: ITmedia NEWS

OpenAI hat ein Werkzeug veröffentlicht, das Darstellungen sexuellen Kindesmissbrauchs (CSAM) aufspüren soll, auch solche aus der KI. Gleichzeitig sperrt ChatGPT jetzt Konten für 24 Stunden, wenn jemand dort nach solchen Inhalten sucht.

Der OpenAI CSAM Image Classifier analysiert visuelle Merkmale eines Bildes und gibt einen Wert dafür aus, wie wahrscheinlich es sich um CSAM handelt. Dazu kommt ein eigener Wert für die Wahrscheinlichkeit, dass das Bild KI-generiert ist. Die übliche Methode vergleicht Bilder mit Hashwerten (digitalen Fingerabdrücken) bekannter illegaler Aufnahmen und tut sich mit neuem Material schwer. Genau da soll der Classifier ansetzen. Laut OpenAI ist es der erste breit nutzbare Classifier mit eigener Kennzahl für KI-generiertes CSAM.

Organisationen, die eine Prüfung bestehen, erhalten ihn kostenlos über die OpenAI-API. Das US-Zentrum für vermisste und ausgebeutete Kinder (NCMEC) half bei Training, Bewertung und Design. Tech Coalition und ROOST unterstützen die Verbreitung.

Wie gut funktioniert der CSAM-Classifier?

Bei hochgeladenen Nutzerbildern fand er laut OpenAI etwa so viele Missbrauchsbilder wie bestehende Tools, senkte aber die Zahl der zur Prüfung gemeldeten Bilder schätzungsweise um 48 Prozent. Die markierten Bilder waren etwa doppelt so oft tatsächlich Missbrauchsmaterial. Bei der Plattform fal bestätigten Mitarbeitende 72 Prozent der sicheren Treffer als neues CSAM. Bei invideo AI führte jeder vierte erkannte Fall zu einer Kontosperre. SafetyKit meldet für gezeichnete und animierte sexualisierte Kinderdarstellungen 90 Prozent Erkennung bei unter 1 Prozent Fehlalarmen bei legalen Erwachseneninhalten.

Die Modellkarte klingt nüchterner. Bei echtem ChatGPT-Verkehr lag die Präzision deutlich unter den Offline-Werten, und bei Bildern von Säuglingen betrug die Trefferquote nur 49,3 Prozent. Videoframes wurden nicht getestet. Ein Wert allein soll nicht als Beweis oder Grundlage einer Meldung dienen, die Entscheidung trifft ein Mensch.

Was passiert, wenn man in ChatGPT nach CSAM sucht?

ChatGPT zeigt eine Warnung: Solche Inhalte seien schädlich und möglicherweise illegal, schon die Suche verstoße gegen die Nutzungsbedingungen. Das Gespräch wird gelöscht, das Konto 24 Stunden gesperrt. Die Warnung verweist auf kostenlose Hilfsangebote. Bei Wiederholung drohen längere Sperren, die Schließung des Kontos und eine Meldung an Behörden.

Für Entwickler gibt es Leitlinien zu Prävention, Erkennung und Meldung, für Kinderschutzeinheiten der Polizei Werkzeuge und Schulungen zur Auswertung großer Chatverläufe.

Apps, die sich lohnen

SUMO: das Zahlenrätsel

Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.

Schlagwörter:openaicsamchatgptchild safetyimage classifierncmec

Mehr von diesem Tag

Alle anzeigen →

Mehr aus: Sicherheit

Alle anzeigen →